Manual de IA territorial · Edición 1.0.0
Bloque B2 · Derechos, igualdad y supervisión humana
Ninguna salida automática reemplaza la responsabilidad humana
Cuando una herramienta puede afectar el acceso a un servicio, un recurso, una oportunidad o una respuesta administrativa, la entidad debe identificar a las personas afectadas y mantener una revisión humana real, competente y capaz de corregir.
La pregunta de este bloque
¿La propuesta protege igualdad, intimidad, petición, defensa y debido proceso, incluso cuando el sistema se equivoca?
Apoyo permitido
- Ordena o resume información para una persona responsable.
- Hace visible una alerta que siempre se contrasta.
- Deja registro de la revisión y de la corrección.
Delegación que se detiene
- Niega, prioriza o sanciona sin decisión humana motivada.
- Oculta las variables o impide reclamar.
- Trata una inferencia como si fuera un hecho oficial.
El marco de referencia parte de los artículos 13, 15, 23 y 29 de la Constitución y de las garantías del procedimiento administrativo (F01, F02).
01 · Personas afectadas
Mapee a quién puede beneficiar, excluir o perjudicar
No basta con identificar al usuario interno. El mapa incluye a quien entrega datos, recibe una respuesta, queda fuera de una lista, es objeto de una inspección o necesita corregir una decisión.
| Persona o grupo | Posible efecto | Pregunta de protección |
|---|---|---|
| Solicitante o titular | Respuesta tardía, errada o incomprensible. | ¿Puede pedir explicación y corrección? |
| Grupo históricamente excluido | Menor acceso por datos incompletos o sesgo. | ¿Se compararon resultados y errores entre grupos? |
| Funcionario revisor | Exceso de confianza o presión para aceptar la salida. | ¿Tiene tiempo, autoridad y evidencia para discrepar? |
| Tercero o comunidad | Uso secundario, exposición o estigmatización. | ¿La finalidad y el alcance son visibles? |
02 · Clasificación de impacto
El nivel de revisión depende de lo que está en juego
Clasifique el uso por su efecto sobre derechos y oportunidades, no por la sofisticación del modelo. Un sistema sencillo puede exigir una revisión reforzada si interviene en subsidios, sanciones, salud, educación, seguridad o focalización.
| Nivel | Ejemplo | Controles mínimos |
|---|---|---|
| Bajo | Resumen interno sin datos sensibles ni efecto sobre personas. | Fuente verificable, revisión por muestreo y registro de uso. |
| Medio | Orientación o clasificación que puede cambiar el orden de atención. | Aviso, revisión humana, prueba de errores y canal de corrección. |
| Alto | Recomendación sobre derechos, sanciones, recursos o acceso a servicios. | Evaluación reforzada, decisión humana motivada, contradicción, auditoría y suspensión. |
Preguntas para clasificar
- ¿La salida cambia quién recibe algo, cuándo lo recibe o bajo qué condiciones?
- ¿Se usan datos sensibles, proxies o información sobre niños, niñas o adolescentes?
- ¿El error es reversible antes de producir un daño?
- ¿La persona puede conocer el motivo y aportar información en contrario?
03 · Supervisión humana
Supervisar es poder entender, discrepar y detener
Una casilla de aprobación no es supervisión. La persona revisora debe conocer el propósito, las limitaciones, la evidencia disponible y el margen de error; además, debe tener autoridad para apartarse de la sugerencia sin recibir una sanción informal por hacerlo.
Recibir
La salida se identifica como inferencia, borrador o alerta; nunca como decisión final.
Contrastar
Se revisan fuentes, contexto, datos faltantes y señales de error o sesgo.
Decidir
La autoridad competente motiva la actuación y deja constancia de su criterio.
Corregir o suspender
Se rectifica el resultado y se detiene el uso si aparece un daño no aceptable.
04 · Responsabilidades
Asigne responsabilidades antes de probar
| Rol | Responsabilidad indelegable | Evidencia |
|---|---|---|
| Dirección | Autorizar alcance, recursos de control y criterio de suspensión. | Acta y decisión firmada. |
| Líder del proceso | Operar dentro del propósito, registrar desvíos y escalar incidentes. | Bitácora y reporte periódico. |
| Persona decisora | Contrastar, motivar, notificar y responder por la decisión. | Expediente y razón de apartarse o seguir. |
| Jurídica / datos | Revisar competencia, finalidad, derechos, base de tratamiento y reclamación. | Concepto o ficha de revisión. |
| Proveedor / TIC | Entregar registros, límites, cambios y soporte para corrección. | Documentación y acuerdos de servicio. |
Responsabilidad no significa culpabilizar al revisor
La entidad debe darle condiciones para revisar: tiempo razonable, capacitación, acceso al expediente, posibilidad de solicitar una segunda opinión y protección frente a la automatización de facto.
05 · Errores y efectos desiguales
Busque diferencias que el promedio oculta
Un resultado promedio puede parecer correcto mientras falla más en una zona rural, una lengua, una discapacidad, un grupo étnico, una edad o una condición socioeconómica. La prueba debe separar grupos relevantes y explicar por qué se eligieron.
Registro desactualizado, duplicado, incompleto o recogido con una regla desigual.
Falso positivo, falso negativo, respuesta inventada o puntuación inestable.
La oficina usa la salida fuera de alcance o no deja tiempo para revisar.
Una pequeña desventaja repetida termina cerrando el acceso o aumentando la carga.
Prueba mínima entre grupos
- Defina grupos y justifique por qué son relevantes, sin crear categorías innecesarias.
- Mida cobertura, error, tiempos y escalamiento por grupo y territorio.
- Investigue diferencias; no las descarte como “ruido” sin explicación.
- Fije un umbral de suspensión y una ruta para corregir datos y decisiones.
06 · Explicación y contradicción
Una persona afectada debe poder entender y responder
La explicación debe ser suficiente para que la persona conozca qué ocurrió, qué papel tuvo la herramienta, qué hechos se consideraron, quién decidió y cómo aportar información o pedir corrección. No es necesario revelar secretos técnicos; sí entregar razones comprensibles y verificables.
| Momento | Información mínima | Canal |
|---|---|---|
| Antes | Si interviene IA, para qué se usa y qué no puede hacer. | Aviso visible, lenguaje claro y accesible. |
| Durante | Qué dato o documento falta y qué puede aportar la persona. | Trámite, PQRSD o contacto del proceso. |
| Después | Resultado, autoridad responsable, razones y efectos. | Respuesta de fondo y notificable. |
| Corrección | Cómo pedir revisión humana, rectificar datos y reclamar. | Canal practicable, plazo y constancia. |
07 · Reclamación y corrección
La vía de corrección debe funcionar incluso cuando el sistema no funciona
Diseñe un recorrido corto para que una persona pueda reportar un error, pedir revisión humana, aportar evidencia y conocer el resultado. El canal no puede exigir dominar términos técnicos ni repetir la historia en varias oficinas.
Recepción
- Identifique el caso y entregue número de radicado.
- Permita formatos accesibles y apoyo para diligenciar.
- Proteja la información de quien reclama.
Respuesta
- Asigne una persona competente y un plazo.
- Explique qué se revisó y qué cambió.
- Informe cómo escalar si persiste el desacuerdo.
Suspensión inmediata
- Se detecta una diferencia grave entre grupos sin explicación ni control.
- La salida genera una decisión adversa sin revisión humana o sin motivación.
- Se expusieron datos personales o se usaron datos fuera de la finalidad.
- El proveedor cambió el modelo y la entidad no puede verificar el impacto.
- El canal de reclamación falla, está inaccesible o no produce respuesta.
Tres escenarios de alto impacto
| Escenario | Reclamación y contradicción mínimas |
|---|---|
| Priorización de subsidios | Explicar variables, permitir evidencia alternativa y revisión humana antes de excluir. |
| Sanción o inspección sugerida | Informar hechos, abrir oportunidad de respuesta y motivar la decisión independiente. |
| Orientación de salud o educación | Escalar a profesional competente y permitir corrección si el contexto individual cambia. |
08 · Semáforo y banderas rojas
Haga visible cuándo continuar, condicionar o detener
No dependa solo del color: use texto, icono, contraste y una acción asociada. La clasificación es una herramienta editorial, no una categoría legal nueva.
09 · Caso territorial
Priorización de solicitudes de subsidio de vivienda
Una alcaldía propone puntuar solicitudes para ordenar la asignación de recursos. El modelo combina ingresos, composición familiar, ubicación y registros históricos. La promesa es atender primero a quienes “más lo necesitan”.
Riesgos
- Variables que funcionan como sustitutos de origen, género o discapacidad.
- Familias sin datos completos quedan detrás sin saber por qué.
- La puntuación se convierte en decisión automática.
- Una corrección llega después de perder la convocatoria.
Controles exigibles
- Reglas públicas y evaluación de impacto por grupo y territorio.
- Comité humano con autoridad para apartarse y motivar.
- Explicación individual y canal de contradicción.
- Prueba paralela con regla transparente antes de operar.
Decisión de referencia: aplazar
No se autoriza la priorización automatizada hasta cerrar la evaluación de impacto, las pruebas de igualdad, la revisión humana y la reclamación. Puede autorizarse una herramienta de apoyo para detectar documentos faltantes, sin puntuar ni ordenar personas.
Caso ilustrativo; no constituye precedente jurídico. Conecta B1, B3, B5 y B6.
10 · Ficha imprimible
Evaluación reforzada de impacto
Resultado
Fuentes: Constitución, arts. 13, 15, 23 y 29; Ley 1437 de 2011; Ley 1581 de 2012; Circular SIC 002 de 2024. Consulta: 2026-07-25.
11 · Recursos CIIAC
Lleve la etica a una evidencia verificable
El lineamiento CIIAC convierte los principios en reglas de autorizacion, revision humana, transparencia, correccion y suspension. Uselo junto con los formatos del suplemento para proteger al funcionario, al contratista y a la persona usuaria.
- Declaracion de uso de IA: proposito, alcance, datos y salida.
- Registro de revision humana: verificacion, correccion y decision.
- Matriz de responsabilidades: quien ejecuta, aprueba, asesora e informa.
Documento rector: docs/LINEAMIENTOS-CIIAC-ETICA-BUEN-USO-IA.md. Los formatos son orientativos y requieren adaptacion institucional.