Algoritmos abiertos y que no discriminen en el sector público

Autores 7
Presentación 19
LAS EVALUACIONES DE IMPACTO ALGORÍTMICO
EN LOS DERECHOS FUNDAMENTALES: HACÍA UNA EFECTIVA
MINIMIZACIÓN DE SESGOS
PERE SIMÓN CASTELLANO
I. A MODO DE INTRODUCCIÓN: MÁS VALE PREVENIR QUE CURAR 27
1. Justificación del tema y oportunidad 28
2. Objetivos de la investigación 29
3. Definición de hipótesis 30
II. CONTENIDO DE LA EVALUACIÓN DE IMPACTO ALGORÍTMICO Y JUICIO DE PROPORCIONALIDAD 30
1. Objeto de evaluación (decisión algorítmica automatizada) y límites de los sistemas de inteligencia artificial en función de la tecnología concreta 36
2. Publicidad de los informes de evaluación de impacto algorítmico y obligación de registro público: ¿una ponderación compartida con el público? 37
3. Gestión interna de (auto)evaluaciones de impacto algorítmico: hacía un modelo de debido proceso, justicia y equidad en la co-construcción de una inteligencia artificial confiable 38
4. Acceso significativo por parte de desarrolladores, investigadores y auditores. La revisión y mejora continua del sistema 40
5. La evaluación de impacto dispar (disparate impact assessment) 42
III. NATURALEZA JURÍDICA Y PAPEL DE LA EVALUACIÓN DE IMPACTO ALGORÍTMICO EN LA PROTECCIÓN EFECTIVA DE LOS DERECHOS FUNDAMENTALES 43
I V. LA EVALUACIÓN DE IMPACTO ALGORÍTMICO COMO HERRAMIENTA ESENCIAL PARA LA MINIMIZACIÓN DE RIESGOS, SESGOS Y DAÑOS 45
V. MODELOS DE EVALUACIÓN DE IMPACTO ALGORÍTMICO EN PERSPECTIVA COMPARADA 46
1. Canadá y el “Algorithmic Impact Asssessment Tool” 46
2. La herramienta “AIA” del Gobierno de Estados Unidos 48
3. Países Bajos y el modelo FRAIA 49
4. OEIAC. El modelo PIO (Principios, Indicadores y Observables) 50
5. Ada Lovelace Institute 52
6. “Model Rules del European Law Institute” 53
VI. CONCLUSIONES 55
UNA INTELIGENCIA ARTIFICIAL A MEDIDA DE LAS PERSONAS:
EL CONTROL DE LA DISCRIMINACIÓN ALGORÍTMICA
RAQUEL VALLE ESCOLANO
I. INTRODUCCIÓN 57
II. LA INTELIGENCIA ARTIFICIAL, UNA REVOLUCIÓN DE NUESTROS DÍAS 58
III. GESTIONAR LA INTELIGENCIA ARTIFICIAL, UNO DE LOS GRANDES RETOS DE LA HUMANIDAD 63
IV. LA DIMENSIÓN ÉTICA COMO GUÍA 68
V. MITIGAR LA DISCRIMINACIÓN ALGORÍTMICA 72
VI. REFLEXIONES FINALES 76
BUENA ADMINISTRACIÓN ALGORÍTMICA
Y DEBIDO PROCESO FRENTE A LOS SESGOS
MARCO EMILIO SÁNCHEZ ACEVEDO
I. INTRODUCCIÓN 79
II. ¿QUÉ SENTIDO SE LE DEBE DAR A LA BUENA ADMINISTRACIÓN ELECTRÓNICA DESDE EL USO DE ALGORITMOS? 80
III. CONCEPTUALIZACIÓN Y TIPOLOGÍAS DE LOS SESGOS QUE SE PODRÍAN GENERAR CON EL USO DE ALGORITMOS 86
IV. ANÁLISIS DE LA GARANTÍA DEL DEBIDO PROCESO FRENTE A LOS SESGOS GENERADOS POR ALGORITMOS 90
V. CONCLUSIONES 95
DATOS ABIERTOS, INTEROPERABILIDAD Y REUTILIZACIÓN
DE TECNOLOGÍA PARA LA INTELIGENCIA ARTIFICIAL
DEL SECTOR PÚBLICO
RUBÉN MARTÍNEZ GUTIÉRREZ
I. INTRODUCCIÓN 97
II. LOS DATOS ABIERTOS: LA SANGRE DE LA INTELIGENCIA ARTIFICIAL 99
1. Marco regulatorio general de los datos abiertos 99
2. Los datos abiertos como sangre de los cerebros de inteligencia artificial 101
III. LA INTEROPERABILIDAD: ARTERIAS Y VENAS DE LA INTELIGENCIA ARTIFICIAL 103
1. La importancia de la interoperabilidad 103
2. La norma técnica de interoperabilidad de reutilización de recursos de información 104
3. Otras obligaciones conexas a la interoperabilidad: seguridad y de protección de datos de carácter personal 107
IV. LA REUTILIZACIÓN DE APLICACIONES Y TRANSFERENCIA DE TECNOLOGÍAS COMO BASE DEL DESARROLLO DE SISTEMAS DE INTELIGENCIA ARTIFICIAL 109
1. Marco normativo legal de la transferencia y reutilización de tecnología 109
2. Diseño de los sistemas de inteligencia artificial en el Sector Público y reutilización de tecnología. La creación de un centro de transferencia de tecnología de inteligencia artificial 112
V. REFLEXIÓN FINAL 113
DATOS, INTELIGENCIA ARTIFICIAL Y SERVICIOS PÚBLICOS:
LA APUESTA DEL AYUNTAMIENTO DE BARCELONA
POR LA TRANSPARENCIA ALGORÍTMICA Y LA PROTECCIÓN
DE LOS DERECHOS DE LA CIUDADANÍA
PAULA BOET SERRANO
MICHAEL DONALDSON CARBÓN
I. DATOS, INTELIGENCIA ARTIFICIAL Y SERVICIOS PÚBLICOS 115
II. OPORTUNIDADES Y RETOS DEL USO DE LOS ALGORITMOS Y LA INTELIGENCIA ARTIFICIAL PARA LAS ADMINISTRACIONES PÚBLICAS 118
III. POR UNA INTELIGENCIA ARTIFICIAL GARANTISTA CON LOS DERECHOS HUMANOS Y LOS VALORES DEMOCRÁTICOS 123
1. Protocolo interno para la implementación de sistemas algorítmicos y órganos de gobernanza 125
2. Los registros de algoritmos 128
IV. APRENDIZAJES Y RECOMENDACIONES 131
V. REFLEXIONES FINALES 134
CUÁNDO DEBEN CREARSE REGISTROS
Y DAR TRANSPARENCIA A LOS ALGORITMOS Y SISTEMAS
DE INTELIGENCIA ARTIFICIAL PÚBLICOS
LORENZO COTINO HUESO
I. UNA APROXIMACIÓN A LAS EXIGENCIAS DE TRANSPARENCIA DE LOS ALGORITMOS PÚBLICOS Y LA NORMATIVA ACTUALMENTE EXISTENTE 137
1. La transparencia de los algoritmos públicos en la Carta de Derechos Digitales 140
2. Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación 141
3. Decreto 203/2021 para la Administración General del Estado 142
4. Reglamento (UE) 2016/679, de 27 de abril de 2016 (de protección de datos) 143
5. La primera regulación española de la inteligencia artificial: la Ley 1/2022 valenciana de transparencia (art. 16.1.l) 143
7. Decreto-ley 2/2023, de 8 de marzo, de medidas urgentes de impulso a la inteligencia artificial en Extremadura 144
8. Ley “Rider”, Estatuto de los trabajadores 144
9. Regulación municipal de Barcelona 145
II. HAY QUE DAR INFORMACIÓN RESPECTO DE CUALQUIER SISTEMA AUTOMATIZADO QUE INCLUYA ALGORITMOS Y, POR SUPUESTO, SISTEMAS DE INTELIGENCIA ARTIFICIAL PÚBLICOS 146
1. La definición de inteligencia artificial en el futuro Reglamento inteligencia artificial de la UE 148
2. Es positivo optar por dar transparencia a todo uso de sistemas automatizados, algorítmicos y, también, de inteligencia artificial en el sector público 150
3. Dar transparencia no sólo al uso procedimientos administrativos, sino en general en la prestación de los servicios públicos. Los usos y procesos en los que se aplica la inteligencia artificial en la UE y EEUU 151
III. LA TRANSPARENCIA EN FUNCIÓN DEL IMPACTO, RIESGO Y RELEVANCIA JURÍDICA DE LOS SISTEMAS ALGORÍTMICOS PÚBLICOS. CRITERIOS A TENER EN CUENTA 155
1. Una transparencia pública más intensa en razón del variable impacto y riesgo 155
2. El impacto en razón del concreto ámbito de actuación pública y los sistemas inteligencia artificial públicos de “alto riesgo” del futuro RIA 157
3. Más allá de los niveles de riesgo del futuro RIA. El impacto o relevancia y los efectos significativos del sistema inteligencia artificial 159
4. Usos públicos de inteligencia artificial para tomar decisiones individualizadas respecto de personas, decisiones internas administrativas o para la elaboración de políticas y su impacto colectivo. 162
5. Usos masivos o perpetuadores de ilegalidad y la necesidad de “recalibrar” las garantías exigibles 163
6. La mayor o menor automatización de la actuación administrativa 164
6.1. Niveles de automatización de la actuación administrativa 164
6.2. Mayor riesgo en decisiones “únicamente”, “íntegramente” automatizadas, sin intervención directa humana o que no sean “accesorias” para la decisión humana 166
IV. PARA CONCLUIR, UNA ESCALA DE USOS PÚBLICOS DE INTELIGENCIA ARTIFICIAL MÁS O MENOS IMPACTANTES A LOS QUE DAR TRANSPARENCIA 168
LA INFORMACIÓN QUE HAY QUE FACILITAR
EN LOS REGISTROS PÚBLICOS DE ALGORITMOS
Y DE INTELIGENCIA ARTIFICIAL
LORENZO COTINO HUESO
ALBA SORIANO ARNANZ
I. EL NIVEL DE PROFUNDIDAD Y COMPRENSIBILIDAD DE LA INFORMACIÓN QUE SE OFRECE. LA INFORMACIÓN POR CAPAS 175
II. NORMATIVA DE REFERENCIA SOBRE LA INFORMACIÓN A FACILITAR 179
III. INFORMACIÓN SOBRE LA EXISTENCIA, FINALIDAD, INCIDENCIA EN LAS DECISIONES PÚBLICAS, LA LÓGICA Y MOTIVACIÓN COMPRENSIBLE 185
1. “Comunicación” de la existencia misma del sistema y su grado de incidencia en las decisiones públicas 185
2. Transparencia sobre la finalidad prevista del sistema inteligencia artificial 187
3. Información de por qué existe el sistema inteligencia artificial y explicación de que no había mejores alternativas 190
4. Sobre el fundamento y lógica del sistema inteligencia artificial y su incidencia en la toma de decisiones y la transparencia 191
5. Transparencia y motivación comprensible de las decisiones públicas con inteligencia artificial 193
IV. TRANSPARENCIA SOBRE LOS DATOS DE ENTRENAMIENTO, DE ENTRADA Y LOS INFERIDOS POR EL SISTEMA Y SUS ESPECIFICACIONES TÉCNICAS 196
1. Transparencia sobre los datos del sistema de inteligencia artificial (de entrenamiento, de entrada y los inferidos por el sistema) 196
2. Transparencia sobre la tipología y especificaciones técnicas del sistema inteligencia artificial y, en su caso, sobre el código fuente 199
V. INFORMACIÓN SOBRE EVALUACIONES DE IMPACTO, MEDIDAS Y MITIGACIONES DE RIESGOS, SUPERVISIÓN HUMANA Y AUDITORÍAS 202
VI. INFORMACIÓN SOBRE RESPONSABLES, PROVEEDORES Y USUARIOS, CONTRATACIÓN DEL SISTEMA Y PUNTO DE CONTACTO 204
VI. LÍMITES 207
VII. RESUMEN COMPARADO DE LA INFORMACIÓN PROPORCIONADA EN LOS REGISTROS ALGORÍTMICOS YA ESTABLECIDOS O PROPUESTOS 209
GOBERNANZA PÚBLICA EN MATERIA ALGORÍTMICA:
UNA PROPUESTA DE FORMULACIÓN
DE LOS REGISTROS PÚBLICOS
ADRIÁN PALMA ORTIGOSA
JORGE CASTELLANOS CLARAMUNT
I. INTRODUCCIÓN 215
II. REGISTROS PÚBLICOS EN MATERIA ALGORÍTMICA 218
1. Contenido de los registros públicos 218
2. Proceso de formulación de los registros públicos 219
III. SOBRE LA GOBERNANZA DEL REGISTRO 231
1. Medidas de gobernanza general aplicable a los sistemas automatizados de riesgo alto 233
2. Medidas de gobernanza general aplicable a los sistemas automatizados de riesgo medio 235
IV. CONCLUSIONES 236
DE LA DIGITALIZACIÓN A LA INTELIGENCIA ARTIFICIAL:
EL PORVENIR DE LA JUSTICIA EN LA UNIÓN EUROPEA
ROSA CERNADA BADÍA
I. INTRODUCCIÓN 239
II. LA ESTRATEGIA DE DIGITALIZACIÓN DE LA JUSTICIA EN LA UNIÓN EUROPEA 241
1. De los tres pilares al espacio de libertad, seguridad y Justicia 241
2. Justicia en red: concepto y objetivos europeos 243
III. EL FUTURO ESTÁ AQUÍ: LA IMPLANTACIÓN DE SISTEMAS DE INTELIGENCIA ARTIFICIAL EN JUSTICIA 246
1. Inteligencia artificial: concepto y usos 246
2. Cuestiones específicas que plantea la inteligencia artificial en el ámbito del Derecho público 249
3. Regulación de la inteligencia artificial en la Unión Europea 251
IV. EL USO DE SISTEMAS DE INTELIGENCIA ARTIFICIAL EN JUSTICIA 254
1. De la máquina de escribir a los jueces robots 254
2. Aplicación de sistemas de inteligencia artificial en el sector Justicia en la Unión Europea 258
V. CONCLUSIONES 262
“SALUT/IA” – PROGRAMA PARA LA PROMOCIÓN
Y DESARROLLO DE LA INTELIGENCIA ARTIFICIAL
EN EL SISTEMA DE SALUD DE CATALUÑA
JOAN GUANYABENS
I. INTRODUCCIÓN 265
II. INTELIGENCIA ARTIFICIAL EN SALUD. CONTEXTO Y JUSTIFICACIÓN 268
1. Aplicaciones de la inteligencia artificial en salud 269
2. La inteligencia artificial en salud en el mundo 272
3. Análisis DAFO del ecosistema de inteligencia artificial en salud en Cataluña 274
3.1. Fortalezas y oportunidades 274
3.2. Debilidades y Amenazas 275
4. Directrices éticas y legales por la inteligencia artificial 276
III. PROGRAMA PARA LA PROMOCIÓN Y DESARROLLO DE LA INTELIGENCIA ARTIFICIAL EN EL SISTEMA DE SALUD DE CATALUÑA 280
1. Misión, visión y valores 280
2. Objetivos 280
3. Ejes de actuación 281
3.1. Investigación e Innovación 281
3.2. Evaluación 285
3.3. Implementación sistémica 287
4. Modelo de Gobernanza 290
5. Activación del Programa Salud/IA 290