Evaluación de políticas públicas en la era de las transformaciones

LISTA DE AUTORES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
PARTE 1
INTRODUCCIÓN
MÁS ALLÁ DE LA EVALUACIÓN DE POLÍTICAS. CIENCIA PARA LA POLÍTICA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
CIENCIA Y POLÍTICA: ¿PUEDEN LLEGAR A CONVERGER VÍAS PARALELAS? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
LA ILUSIÓN TECNOCRÁTICA Y LA NATURALEZA POLÍTICA DE LAS POLÍTICAS PÚBLICAS . . . . . . . . . . . . . . . . . . . . . . . . . . 35
CIENCIA Y POLÍTICA EN TIEMPOS DE TRANSFORMACIÓN DIGITAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
A MODO DE CONCLUSIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
PARTE 2
INSTITUCIONALIZACIÓN Y GOBERNANZA DE LA EVALUACIÓN:
DEL DISEÑO DEL SISTEMA AL USO EN EL CENTRO DE GOBIERNO
LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN: APRENDIZAJES Y POSIBLES AVANCES A PARTIR DE LA LITERATURA SOBRE SISTEMAS DE INNOVACIÓN. EL CASO DE CATALUÑA. . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
INVESTIGACIÓN, EVALUACIÓN E INNOVACIÓN . . . . . . . . . . 47
Características comunes entre la innovación y la evaluación. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
DE SISTEMAS DE INNOVACIÓN A ECOSISTEMAS DE EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
LOS SISTEMAS DE EVALUACIÓN COMO SISTEMAS DE ACTORES: EL CASO CATALÁN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Metodología . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
ANÁLISIS DE LOS ACTORES DE LA OFERTA . . . . . . . . . . . . . . . 55
ANÁLISIS DE ACTORES DE LA DEMANDA . . . . . . . . . . . . . . . . 57
ACTORES QUE CONTRIBUYEN A LAS INTERRELACIONES ENTRE OFERTA Y DEMANDA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Identificación de las necesidades de conocimiento . . . . . 61
Adquisición y alimentación de conocimiento . . . . . . . . . 61
REDES CON PRODUCTORES Y USUARIOS DE EVALUACIÓN . 63
ACUMULACIÓN DE CONOCIMIENTO EVALUATIVO . . . . . . . 64
PROMOCIÓN DE UNA CULTURA BASADA EN LA EVIDENCIA 65
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
ANEXO 1. ACTORES DE LA INNOVACIÓN: OFERTA, DEMANDA E INTERMEDIACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Oferta o Productores . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Consumidores o Demanda . . . . . . . . . . . . . . . . . . . . . . . 74
Intermediarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
ALGUNAS CONSIDERACIONES EN TORNO A LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN. . . . . . . . . . . . . . . . . . . 78
LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN A NIVEL NACIONAL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Etapas y balance general de su implantación a lo largo del tiempo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
La evaluación transversal: instituciones clave . . . . . . . . . 81
La evaluación sectorial de políticas públicas. . . . . . . . . . 82
Otros actores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN EN LAS COMUNIDADES AUTÓNOMAS . . . . . . . . . . . . . . . . . . . . . . . . 84
REFLEXIONES FINALES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
HACIA UN SISTEMA NACIONAL DE EVALUACIÓN: DESAFÍOS EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA. . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
PANORAMA ACTUAL DE LA INSTITUCIONALIZACIÓN DE LA
EVALUACIÓN EN ESPAÑA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
La institucionalización en el contexto comparado. . . . . . 97
El estado de la institucionalización a nivel de la AGE . . . 100
Ecosistemas y agentes a nivel regional: el caso de las
CC.AA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
DESAFÍOS INSTITUCIONALES EN LA IMPLEMENTACIÓN DEL MARCO NORMATIVO EVALUADOR. . . . . . . . . . . . . . . . . . . . . 110
RETOS ESTRUCTURALES Y OPERATIVOS PARA UNA CULTURA DE LA EVALUACIÓN DE POLÍTICAS EN ESPAÑA . . . . . . . . 115
CONCLUSIONES PARA UNA COMPLETA IMPLEMENTACIÓN DE UN SISTEMA NACIONAL DE EVALUACIÓN EN ESPAÑA . . 121
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
ESTRATEGIA PARA EL APRENDIZAJE A TRAVÉS DE LA EVALUACIÓN EN EL CENTRO PARA EL DESARROLLO TECNOLÓGICO Y LA INNOVACIÓN (CDTI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
EL PROCESO DE INSTITUCIONALIZACIÓN DE LA EVALUACIÓN EN EL CDTI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
LA EVALUACIÓN EN SU CONTEXTO POLÍTICO. . . . . . . . . . . . 134
FUNCIONES Y APROXIMACIÓN EVALUATIVA. . . . . . . . . . . . . 136
EVALUACIÓN DEMOCRÁTICA E IMPACTO SOCIAL. . . . . . . . . 137
MARCO METODOLÓGICO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Equipos mixtos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Técnicas cuantitativas y cualitativas . . . . . . . . . . . . . . . . 141
Triangulación e interpretación de resultados . . . . . . . . . . 141
Recomendaciones de la evaluación . . . . . . . . . . . . . . . . 142
Comunicación y difusión de resultados con recursos adaptados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
Evaluación de la evaluación . . . . . . . . . . . . . . . . . . . . . . 143
RECURSOS PARA LA EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . 143
Presupuesto. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Recursos humanos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Procesos organizativos . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Infraestructura de recogida y gestión de datos . . . . . . . . . 145
Redes profesionales y formación . . . . . . . . . . . . . . . . . . . 145
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
REFERENCIAS BIBLIOGRÁFICAS . . . . . . . . . . . . . . . . . . . . . . . . 147
EL USO DE LA EVALUACIÓN POR LOS CENTROS DE GOBIERNO Y SU COMPLEMENTARIEDAD CON OTROS MECANISMOS
DE RENDICIÓN DE CUENTAS. EL CASO DE ESPAÑA . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
EL USO DE LA EVALUACIÓN Y DE LAS EVIDENCIAS CIENTÍFICAS POR LOS CENTROS DE GOBIERNO. ESPECIAL REFERENCIA AL CASO DE ESPAÑA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
DIFICULTADES Y LIMITACIONES EN LA UTILIZACIÓN DE LAS EVIDENCIAS CIENTÍFICAS Y LA EVALUACIÓN POR PARTE DE LOS GOBIERNOS Y SUS CENTROS . . . . . . . . . . . . . . . . . . . . . . 156
LA EVALUACIÓN Y SUS INTERSECCIONES CON OTROS MECANISMOS DE RENDICIÓN PÚBLICA DE CUENTAS DESDE LA
PERSPECTIVA DEMOCRÁTICA. LA RENDICIÓN DE CUENTAS
CUMPLIENDO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Los mecanismos de rendición de cuentas de los centros de gobierno. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
La rendición de cuentas Cumpliendo . . . . . . . . . . . . . . . 162
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
PARTE 3
CAPACIDADES Y PROFESIONALIZACIÓN: PERSONAS, PERFILES Y
COMUNIDAD EVALUADORA
EL MARCO DE COMPETENCIAS EN EVALUACIÓN, UNA HERRAMIENTA PARA LA FORMACIÓN ESPECIALIZADA EN LA ADMINISTRACIÓN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
COMPETENCIAS EN EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . 182
Perfiles profesionales de evaluación . . . . . . . . . . . . . . . . 183
Funciones en materia de evaluación . . . . . . . . . . . . . . . . 184
Tipología de competencias . . . . . . . . . . . . . . . . . . . . . . . 186
Competencias comunes. . . . . . . . . . . . . . . . . 186
Competencias de especialización práctica. . . 186
Competencias de gobernanza del proceso
evaluador . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Nivel de dominio de competencias en evaluación . . . . . 188
Marco de Competencias en evaluación. . . . . . . . . . . . . . 190
EL PROCESO DE ELABORACIÓN DEL MARCO DE COMPETENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Revisión documental y análisis comparado. . . . . . . . . . . 192
El grupo de expertos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Desarrollo de la técnica grupal. Reuniones del grupo. . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
Resultado del trabajo del grupo . . . . . . . . . . . 196
UTILIDADES DEL MARCO DE COMPETENCIAS . . . . . . . . . . . . 198
LA PROFESIONALIZACIÓN DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS: UN CAMINO POR RECORRER EN ESPAÑA . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
LA EVOLUCIÓN DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS: ORIGEN, TRANSFORMACIÓN Y DESAFÍOS . . . . . . . . . . . 205
Los primeros pasos hacia la institucionalización de la evaluación en España . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
SIN CONSOLIDACIÓN DE LA EVALUACIÓN, ¿ES POSIBLE LA PROFESIONALIZACIÓN? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
De la práctica al reconocimiento: los pilares de una profesión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Reconocimiento normativo de los evaluadores y la definición de competencias en la Administración Pública. . . 211
Formando a los evaluadores del futuro: la capacitación
académica como pilar fundamental . . . . . . . . . . . . . . . . 216
Del aula al mercado: las competencias clave para los
evaluadores en el ámbito profesional . . . . . . . . . . . . . . . 221
DISCUSIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
REFERENCIAS BIBLIOGRÁFICAS . . . . . . . . . . . . . . . . . . . . . . . . 228
LA EVALUACIÓN COMO PROFESIÓN: ¿UN OFICIO CON PROPÓSITO? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
SOBRE LA EVALUACIÓN Y SU RAZÓN DE SER. . . . . . . . . . . . . 233
SOBRE LA PROFESIONALIZACIÓN Y EL BIEN COMÚN . . . . . . 235
INICIATIVAS PARA LA PROFESIONALIZACIÓN EN ESPAÑA:
RETOS Y OPORTUNIDADES . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
QUIÉN ES QUIÉN EN ESPAÑA Y PARA QUÉ . . . . . . . . . . . . . . . 237
LA PROFESIONALIZACIÓN DE LA EVALUACIÓN COMO UNA DE LAS BELLAS ARTES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
POTENCIALIDADES Y DESAFÍOS AL INTEGRAR EVALUADORAS Y EVALUADORES EMERGENTES EN PROCESOS EVALUATIVOS .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
Contexto y Relevancia. . . . . . . . . . . . . . . . . . . . . . . . . . . 250
Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA: CONTEXTO Y ACTORES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
Definición y evolución de la evaluación en España. . . . . 252
Principales instituciones y organismos responsables de la
evaluación de políticas públicas . . . . . . . . . . . . . . . . . . . 253
Marco normativo y tendencias en la evaluación de políticas públicas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
EVALUADORAS Y EVALUADORES EMERGENTES: CARACTERIZACIÓN Y ROL EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
¿Quiénes son los evaluadores emergentes? Definición y perfil profesional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Formación y competencias clave para la evaluación en el ámbito de las políticas públicas. . . . . . . . . . . . . . . . . . 258
POTENCIALIDADES DE LA INTEGRACIÓN DE EVALUADORES
EMERGENTES EN PROCESOS EVALUATIVOS . . . . . . . . . . . . . . 260
Contribuciones al desarrollo de la disciplina evaluativa . 260
Innovación y nuevas metodologías en evaluación. . . . . . 261
Diversidad y enfoques interdisciplinarios en la evaluación de políticas públicas . . . . . . . . . . . . . . . . . . . . . . . . 261
DESAFÍOS EN LA INCORPORACIÓN DE EVALUADORES EMERGENTES EN ESPAÑA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Barreras institucionales y falta de reconocimiento profesional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Limitaciones en el acceso a convocatorias y redes de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Desafíos en la consolidación de una carrera profesional en evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
EXPERIENCIAS Y BUENAS PRÁCTICAS PARA LA INCORPORACIÓN DE EVALUADORES EMERGENTES . . . . . . . . . . . . . . . . . . 263
Iniciativas nacionales e internacionales de apoyo a evaluadores emergentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Modelo exitoso de integración de evaluaras y/o evaluadores emergentes en Alemania . . . . . . . . . . . . . . . . . . . . 264
CONCLUSIONES Y RECOMENDACIONES. . . . . . . . . . . . . . . . . 265
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
ESTRATEGIAS PARA EL FORTALECIMIENTO DE CAPACIDADES
EN EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A MODO DE INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . 271
UNA COMUNIDAD DE PRÁCTICA Y APRENDIZAJE PARA LA
EVALUACIÓN PARTICIPATIVA . . . . . . . . . . . . . . . . . . . . . . . . . 273
FORTALECER CAPACIDADES EN EVALUACIÓN PARTICIPATIVA: LA ESTRATEGIA ADOPTADA . . . . . . . . . . . . . . . . . . . . . . . 275
Población objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
Propósitos y contenidos. . . . . . . . . . . . . . . . . . . . . . . . . . 276
Enfoque de formación adoptado . . . . . . . . . . . . . . . . . . . 277
APRENDIZAJES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
La oportunidad de participar y la capacidad para hacerlo 279
Evaluar los alcances de la estrategia de formación . . . . . 281
¿CÓMO CONTRIBUIR AL DESARROLLO DE CAPACIDADES
EN EVALUACIÓN? REFLEXIÓN FINAL . . . . . . . . . . . . . . . . . . . . 282
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
PARTE 4
ENFOQUES Y METODOLOGÍAS: DE LO CONTRAFACTUAL A LO PARTICIPATIVO Y MÁS ALLÁ
METODOLOGÍAS DE EVALUACIÓN: EL PAPEL DE LA EVALUACIÓN DE IMPACTO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
QUÉ ES EL IMPACTO Y SU IMPORTANCIA EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS. . . . . . . . . . . . . . . . . . . . . . . . . 290
¿CÓMO SE MIDE EL IMPACTO?. . . . . . . . . . . . . . . . . . . . . . . . . 293
Métodos experimentales . . . . . . . . . . . . . . . . . . . . . . . . . 293
Métodos cuasi-experimentales . . . . . . . . . . . . . . . . . . . . 295
Experimentos naturales . . . . . . . . . . . . . . . . . 296
Variables instrumentales . . . . . . . . . . . . . . . . 296
Diferencias en diferencias . . . . . . . . . . . . . . . 298
Emparejamiento. . . . . . . . . . . . . . . . . . . . . . . 299
Regresión discontinua . . . . . . . . . . . . . . . . . . 300
LOS RETOS DE LA EVALUACIÓN DE IMPACTO: LIMITACIONES Y MALENTENDIDOS COMUNES . . . . . . . . . . . . . . . . . . . . 302
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
LOGROS Y RETOS EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS EN ESPAÑA. . . . . . . . . . . . . . . . . . . . . . . 310
¿POR QUÉ Y CÓMO HACER EVALUACIONES DE IMPACTO? . 312
Los datos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
Los métodos de evaluación . . . . . . . . . . . . . . . . . . . . . . . 315
EL USO DE LAS EVALUACIONES . . . . . . . . . . . . . . . . . . . . . . . . 316
RECAPITULACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
REFERENCIAS BIBLIOGRÁFICAS . . . . . . . . . . . . . . . . . . . . . . . . 318
EVALUACIÓN PARTICIPATIVA EN AMÉRICA LATINA: PRINCIPIOS Y EXPERIENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
PERSPECTIVAS DE LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN EN AMÉRICA LATINA . . . . . . . . . . . . . . . . . . . . . . . . 324
PRINCIPIOS Y EXPERIENCIAS DE EVALUACIÓN PARTICIPATIVA EN AMÉRICA LATINA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
CONCLUSIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
LA EVALUACIÓN MÁS ALLÁ DE LAS POLÍTICAS PUBLICAS . . . .
MÁS ALLÁ DE LAS POLÍTICAS PUBLICAS . . . . . . . . . . . . . . . . . 343
EL SECTOR FILANTRÓPICO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
LA EVALUACIÓN FILANTRÓPICA . . . . . . . . . . . . . . . . . . . . . . . 347
CUATRO PECULIARIDADES SIGNIFICATIVAS DE LA EVALUACIÓN FILANTRÓPICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Enfoque: evaluación centrada en el impacto social . . . . . 349
Objetivo: evaluación enfocada en el aprendizaje . . . . . . 350
Alcance: evaluaciones artesanales. . . . . . . . . . . . . . . . . . 352
Dinámicas: evaluaciones sobre subyacentes dinámicas
de poder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
EL HORIZONTE DE ESTE PAISAJE. . . . . . . . . . . . . . . . . . . . . . . . 355
RECURSOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
PARTE 5
HORIZONTES, DILEMAS Y AGENDAS TRANSVERSALES PLANIFICACIÓN Y EVALUACIÓN NORMATIVA: ANÁLISIS DE EVIDENCIAS PARA LA EFECTIVIDAD DE LA NORMA JURÍDICA
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
POLÍTICA PÚBLICA Y NORMA JURÍDICA: UN ESBOZO DE RELACIÓN CONCEPTUAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
CONSIDERACIÓN INSTRUMENTAL Y DINÁMICA DE LA NORMA COMO PREMISAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
EVALUACIÓN NORMATIVA . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
UNA PROPUESTA METODOLÓGICA . . . . . . . . . . . . . . . . . . . . 374
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
DILEMAS ÉTICOS EN EL USO DE LA INTELIGENCIA ARTIFICIAL
EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
PRINCIPALES DILEMAS ÉTICOS EN EL USO DE IA EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS . . . . . . . . . . . . . . . . . . . . . 386
Sesgos algorítmicos y discriminación . . . . . . . . . . . . . . . 387
Capacidad explicativa y opacidad algorítmica . . . . . . . . 389
Responsabilidad en el diseño y uso. . . . . . . . . . . . . . . . . 390
ESTUDIO DE CASO: USO DE IA EN LA ASIGNACIÓN DE RECURSOS SOCIALES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
CONCLUSIONES Y RECOMENDACIONES. . . . . . . . . . . . . . . . . 394
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
GÉNERO E INTERSECCIONALIDAD EN LA EVALUACIÓN DE
POLÍTICAS PÚBLICAS DESARROLLOS TEÓRICOS E IMPLICACIONES PRÁCTICAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
DESARROLLOS TEÓRICOS EN MATERIA DE EVALUACIÓN, GÉNERO E INTERSECCIONALIDAD. . . . . . . . . . . . . . . . . . . . . . 402
Género, feminismo y evaluación. . . . . . . . . . . . . . . . . . . 402
Interseccionalidad y evaluación . . . . . . . . . . . . . . . . . . . 404
IMPLICACIONES DEL ENFOQUE DE GÉNERO Y EL ENFOQUE
INTERSECCIONAL EN EVALUACIÓN. . . . . . . . . . . . . . . . . . . . . 406
Evaluación de políticas públicas en la era de las transformaciones

La evaluación como proceso político, democrático y orientado a la acción. . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
Las causas estructurales de las desigualdades en el centro de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
Múltiples modelos y metodologías en evaluación . . . . . . 410
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
HACIA UNA EVALUACIÓN PRAGMÁTICA, DINÁMICA E INTEGRATIVA DE LAS POLÍTICAS PÚBLICAS . . . . . . . . . . . . . . . . . . .
LIMITACIONES PRESENTES DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
DESAFÍO DEL DOGMATISMO . . . . . . . . . . . . . . . . . . . . . . . . . . 420
LA GENERACIÓN DE EVIDENCIAS PARA LA TOMA DE DECISIONES DURANTE LA IMPLEMENTACIÓN Y LA EVALUACIÓN DINÁMICA . . . . . . . . . . . . . . . 422
HACIA UNA EVALUACIÓN INTEGRADORA . . . . . . . . . . . . . . . 423
LA CONTRIBUCIÓN POTENCIAL DE LA EVALUACIÓN A LA
POLÍTICA INDUSTRIAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
INTELIGENCIA ARTIFICIAL, EVALUACIÓN DINÁMICA Y DISPONIBILIDAD DE DATOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
PASOS PARA REALIZAR EVALUACIONES DINÁMICAS DE PP. . 426
INSTITUCIONALIZACIÓN, INDEPENDENCIA Y REVISIONES
SISTEMÁTICAS DE EVALUACIONES. . . . . . . . . . . . . . . . . . . . . . 429
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
PARTE 6
PRÁCTICAS Y ESTUDIOS DE CASO
INNOVACIÓN EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS:
LA EXPERIENCIA DE AVALUA·LAB EN EL CONTEXTO LOCAL . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
La aparición de laboratorios de políticas públicas . . . . . . 438
METODOLOGÍA UTILIZADA POR AVALUA•LAB: CÓMO SE
GESTÓ LA ESTRUCTURA Y CÓMO SE PLANTEAN SUS ACTUACIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
RESULTADOS ALCANZADOS TRAS CINCO AÑOS DE ANDADURA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
LA SINGULARIDAD DE AVALUA•LAB: RETOS Y CLAVES DEL
ÉXITO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
CONCLUSIONES Y RECOMENDACIONES. . . . . . . . . . . . . . . . . 446
Principales conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . 447
Cómo continuar y qué mejorar . . . . . . . . . . . . . . . . . . . . 448
REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
UNIDADES DE INNOVACIÓN Y COMPORTAMIENTO LOCAL
(UCIL): EXPLORANDO LA INCLUSIÓN DE NUEVAS HERRAMIENTAS Y METODOLOGÍAS CENTRADAS EN EL CIUDADANO
PARA LA MEJORA DE LAS POLÍTICAS PÚBLICAS LOCALES . . . .
INTRODUCCIÓN. ENTENDIENDO LA MEJORA DE LAS POLÍTICAS PÚBLICAS DESDE UNA VISIÓN CONDUCTUAL . . . . . . 453
PUNTO DE PARTIDA: INICIANDO UNA HOJA DE RUTA. . . . . 460
LAS CIENCIAS DEL COMPORTAMIENTO APLICADAS A LAS
POLÍTICAS PÚBLICAS, UN NUEVO ENFOQUE CONDUCTUAL
DE DOBLE ENTRADA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462
VENTAJAS EN EL USO DE LAS CIENCIAS DEL COMPORTAMIENTO Y LAS PBE PARA LA MEJORA DE LAS POLÍTICAS PÚBLICAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
EJEMPLO DE LA IMPLEMENTACIÓN DE LA UCIL EN LAS ENTIDADES LOCALES: PROYECTO EXPERIMENTAL PARA MEJORAR LAS POLÍTICAS PÚBLICAS EN LOS MUNICIPIOS A TRAVÉS DE POLÍTICAS BASADAS EN EVIDENCIA CON INCLUSIÓN DE HERRAMIENTAS Y METODOLOGÍAS DE LAS CIENCIAS DEL COMPORTAMIENTO . . . . . . . . . . . . . . . . . . . . . . . . . 466
A MODO DE CONCLUSIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
CONCLUSIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
EL CLIENTE MISTERIOSO EN LA ADMINISTRACIÓN PÚBLICA:
INNOVACIÓN Y MEJORA DE SERVICIOS DESDE LA EXPERIENCIA CIUDADANA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
MARCO NORMATIVO Y ANTECEDENTES. . . . . . . . . . . . . . . . . 476
OBJETIVOS DEL PROCESO PARTICIPATIVO . . . . . . . . . . . . . . . 479
DESARROLLO DEL PROCESO . . . . . . . . . . . . . . . . . . . . . . . . . . 480
RESULTADOS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483
Resultados de la observación directa. . . . . . . . . . . . . . . . 483
Resultados de los grupos de discusión. . . . . . . . . . . . . . . 484
Impacto en la relación ciudadanía-administración . . . . . 485
INNOVACIÓN Y VALOR AÑADIDO DEL PROYECTO. . . . . . . . 486
Adaptación de una técnica privada al ámbito público: retos y oportunidades. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486
Enfoque en servicios electrónicos y la transformación digital. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486
Incorporación de metodologías cualitativas para una
evaluación más rica y profunda. . . . . . . . . . . . . . . . . . . . 487
Contribución al paradigma del Gobierno Abierto . . . . . . 487
LECCIONES APRENDIDAS Y RECOMENDACIONES . . . . . . . . . 488
Importancia de la comunicación interna y la gestión de
expectativas del funcionariado . . . . . . . . . . . . . . . . . . . . 488
Necesidad de representatividad en la selección de los
clientes misteriosos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
Recomendaciones para la replicabilidad en otras Administraciones Públicas. . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
Potencial de escalabilidad del proyecto . . . . . . . . . . . . . 489
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
REFERENCIAS BIBLIOGRÁFICAS . . . . . . . . . . . . . . . . . . . . . . . . 491
EVALUAR EL FENÓMENO DE LAS «CAPITALIDADES»?. . . . . . . .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
EL FENÓMENO DE LAS CAPITALIDADES . . . . . . . . . . . . . . . . . 498
EL CASO DE LA CIUDAD DE VALÈNCIA . . . . . . . . . . . . . . . . . . 500
ESBOZOS PARA LA EVALUACIÓN DE LAS CAPITALIDADES . . 502
REFLEXIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506
LA ESTRATEGIA DE EVALUACIÓN EN ANDALUCÍA: CLAVES DE UN MODELO DE INNOVACIÓN Y CAMBIO INSTITUCIONAL .
INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511
INNOVACIÓN EN LA ADMINISTRACIÓN PÚBLICA: HACIA
UN MODELO TRANSFORMADOR . . . . . . . . . . . . . . . . . . . . . . 512
La innovación como motor de aprendizaje y cambio institucional. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513
Innovación y evaluación: un binomio transformador. . . . 515
EL CASO ANDALUZ: UNA ESTRATEGIA INNOVADORA PARA LA EPP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
Contexto inicial y evolución de la evaluación en Andalucía. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
Diseño e implementación de la estrategia de EPP en Andalucía . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519
Toma de decisiones y proceso de definición de la estrategia. . . . . . . . . . . . . . . . . . . . . . . . 519
Impulso y definición de la estrategia desde el IAAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
Mecanismos de trabajo colaborativo . . . . . . . 521
Innovación como eje transversal en la estrategia de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522
Nivel de institucionalización de la EPP en Andalucía . . . 526
DESAFÍOS Y PERSPECTIVAS DE LA INSTITUCIONALIZACIÓN
DE LA EVALUACIÓN EN ANDALUCÍA . . . . . . . . . . . . . . . . . . . 528
Retos para la institucionalización de la evaluación en
Andalucía . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 528
Transferibilidad del modelo Andalucía . . . . . . . . . . . . . . 531
CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 532
BIBLIOGRAFÍA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535