"As a Citizens we want evidence-based policy NOT "policy-based evidence": where evidence is typically used as a weapon — mangled and used selectively in order to claim that it supports a politician’s predetermined position", Graham Leicester (1999) (*)
Dejen volar su imaginación.. Imagínense una página web en la que pudieran encontrar listados de políticas y programas sociales puntuados en función de su eficacia, probada con la evidencia empírica. Estos programas vendrían clasificados por ámbitos: salud, empleo, formación, educación y pobreza, por ejemplo, y según los objetivos que pretenden alcanzar: reducir el consumo de una sustancia nociva, la inserción de los parados de larga duración, aumentar la participación en la formación continua, reducir el abandono escolar, erradicar la pobreza infantil, por poner también unos ejemplos.
Cada programa o política sería puntuado, tomando, por ejemplo, valores positivos cuando se dispone de evidencia consistente y consensuada que ha mostrado ser eficaz, es decir, ha alcanzado sus objetivos en aplicaciones previas, y tendrían valores negativos aquellos de los que la evidencia muestre lo contrario, es decir, que han mostrado ser ineficaces. Además, la puntuación aumentaría (en valor absoluto) a medida que los resultados reportados sean más sólidos y generalizables, esto es, que se obtengan mediante evaluaciones que sigan unos criterios científicos que garanticen su calidad, que se mantengan en distintas localidades o ámbitos, con distintos procedimientos y en el tiempo. Valores inferiores se darían a aquellos programas para los que no existe aún suficientes evaluaciones de calidad y sus resultados no sea generalizables, o para los que se obtengan resultados dispares. El valor cero se dejaría para aquellos para los que, aún habiendo evidencia no se puede concluir que han sido eficaces o ineficaces. Aquellos programas para los que no se disponga de evidencia no sería puntuados.Claro está, la puntuación otorgada sería documentada y justificada, y complementada con otro tipo de información como la sospechas de que pueden tener efectos indirectos sobre colectivos no beneficiarios, por ejemplo.
¿Para qué podría servir este tipo de página web? Yendo un poco más allá, esta información podría incorporarse a los proyectos de presupuestos, junto con los costes financieros previstos de cada política o programa, sirviendo para los debates parlamentarios. De igual manera, podrían incorporarse a los programas electorales. La idea es que los gestores públicos puedan tomar sus decisiones siguiendo no sólo su ideología, sino también basándose en una evidencia que pueda asegurar que el dinero público se gaste eficazmente, es decir, tenga un impacto real sobre el bienestar de la gente, al margen de especulaciones o presiones para satisfacer los intereses de unos lobbies (**) . Los beneficiarios de estas políticas podrían también ser los usuarios de una página similar. Por ejemplo, los receptores de unos bonos de formación podría usarlos en aquellos cursos que hayan mostrado ser más eficaces par la inserción o promoción laboral. Finalmente, los usuarios últimos podríamos ser los votantes.
Pueden considerar Vds que no es más que un sueño de una noche de verano de un fanático de la política basada en la evidencia, ciencia ficción, que estamos a mil años luz de ver algo similar, al menos en nuestro país, y que en cualquier caso habría que discutir muy mucho sobre la utilidad y los posibles efectos que podría tener una herramienta similar, y en parte estaría de acuerdo. Sin embargo, en EEUU, existen ya algunas páginas de este tipo. Así, la Coalition for Evidence-based Policy, mantuvo activa entre 2008-2015 una página web en la que se un panel de expertos identificaban programas sociales “respaldados por fuertes evidencias de que tienen impactos importantes en las vida de las personas”. El objetivo de esta iniciativa era asistir a gestores públicos en la identificación de intervenciones que cumplieran estándares de “evidencia de nivel superior” (Top tier evidence).
Los programas eran clasificados en función del nivel de confianza de producirían importantes efectos si se implementaran fielmente en entornos y poblaciones similares a las de los estudios originales. Así, pueden ser considerados como "Top Tier" cuando se dispone dichos efectos se obtienen con al menos 2 RCTs (Pruebas controladas aleatorizadas) llevados a cabo en diferentes lugares o alternativamente por un amplio RCT implementado en varias localidades y "Near Top Tier" cumplan resultados similares a los del Top Tier, pero que necesiten replicas, al basarse en un único estudio, es decir, que confirme que se pueden generalizar los resultados a varios ámbitos.
El relevo de esta página ha sido tomado por la página de la Social Programmes That Work (evidencebasedprograms.org) de la Laura and John Arnold Foundation’s (LJAF). Además de los programas "Top Tier" y "Near Top Tier", añadieron una nueva categoría que denominaron "Suggestive Top Tier" para los programas que han sido evaluados con uno o varios RCT (o con evidencia cuasi-experimental) y de lo que se obtienen efectos positivos, aunque sólo para el corto plazo, o efectos con escasa significatividad estadística. En la actualidad, la página proporciona una lista de programas en 11 áreas temáticas, actualidad, 12 programas han sido clasificados "Top Tier", 15 como "Near Top Tier2, y 31 han sido considerados como "Suggestive Top Tier"
En un reciente monográfico que la American Academy of Political Science, varios expertos, no sólo académicos, hace repaso a la historia del movimiento de la política basa en la evidencia en EEUU, cómo se ha llegado por ejemplo a este tipo de herramienta, su impacto en la práctica y también los retos y expectativas que ha generado y sigue generando el movimiento en este país.
En su introducción, Ron Haskins menciona tres factores que han influido sobre el desarrollo de este movimiento. El primero es que las ciencias sociales han avanzado suficientemente para proveer evidencia que puede ser útil para la formulación de políticas. El segundo factor es que tanto los gobiernos estatales como locales han acumulado suficiente masa crítica de programas basados en la evidencia. El tercero, y quizás más importante, es que cada vez más gestores públicos están convencidos de que pueden usar la evidencia para desarrollar políticas que funcionan o que, al menos, prometen funcionar. Así, en un país extremadamente dividido políticamente en multitud de temas, se aprobó la creación de una Commission on Evidence-Based Policymaking, votada de forma unánimemente tanto en el Senado y en el Congreso. Los trabajos de esta Comisión se concretaron en una serie de recomendaciones centradas especialmente en promover un acceso más eficaz y efectivo de los datos que las agencias federales y estatales colectan para mejorar la evidencia disponible sobre las políticas públicas.
Conclusiones
Si tuviéramos que importar este modelo en España, probablemente tardásemos unos 50 años, los mismos que llevamos de retraso con EEUU en materia de evaluación de programas públicos usando RCTs. Estamos bien lejos de tener una masa critica, los RCTs en políticas sociales de los que disponemos podrían contarse con los dedos de la mano de un manco. Pero, lo que si tenemos ya es una masa crítica de investigadores sociales suficientemente preparados para contribuir a que este movimiento se ponga también en marcha en nuestro país. Cierto es que EEUU no es el único modelo a seguir en esta materia. La experiencia en otros países, por ejemplo, el What Works Network en el Reino Unido lleva ya unos cuantos años funcionando sobre una base distinta, apoyando en la implementación, gestión y evaluación de políticas públicas con muy buenos resultados.
Por otra parte, sin quitar importancia a este tipo de experimentos para extraer conclusiones causales, que por tanto permitirían realizar recomendaciones informadas, aún sabiendo de sus límites (ver las discusiones en varias entradas anteriores de este blog, aquí o aquí, por ejemplo),y mientras no se extienda su cultura en España, hemos de acudir a evaluaciones cuasi-experimentales, y para avanzar en esta materia, es estrictamente necesario que se abra el acceso de los datos administrativos a la comunidad científica, y se pueda canalizar todo el trabajo realizado por nuestros investigadores sociales para que pueda revertir en la sociedad. El acceso abierto a estos microdatos es condición sine qua non no sólo para que mejore nuestra gestión de programas públicos, también para entender mejor como funciona nuestra economía, y cuales son los efectos reales de las distintas regulaciones e instituciones.
Pero el movimiento se demuestra andando, preferiblemente hacia delante.
En mi entrada anterior, reclamaba a los nuevos responsables del ministerio de trabajo que hiceran un esfuerzo y dieran un paso hacia delante, abriendo el acceso de una serie de microdatos necesarios para avanzar en nuestro conocimiento de cómo funciona el mercado de trabajo español y evaluar las políticas de empleo. También apelaba a la Airef para jugase un rol aún más relevante en la evaluación de políticas públicas y permitiera el acceso a lo datos que manejan para el Spending Review. El objetivo es que pudiera disponer de un stock de evidencia que facilitara las próximas edicaciones de mismo.
Pasaron dos cosas desde entonces: una negativa y otra positiva. La primera es que el gobierno decidió prescindir de la Dirección General de Estadísticas y Estudios Sociolaborales, encargada de gestionar los cruces entre distintas bases de datos del propio ministerio, como las procedentes del Servicio Público de Empleo, y los datos de afiliación a la Seguridad Social. Un paso atrás importante, que esperemos sinceramente no sea la señal de un nuevo apagón estadístico.
La (muy positiva) es que parece que la Airef si que estaría dispuesta a dar el paso de abrir el acceso a los datos. Asi lo trasmitió el propio presidente de la Airef en un arículo en El País. Retomand los términos utilzados en el post, decía que:
“Ahora creemos que es momento de dar un paso más y aprovechar la fuerza de la inteligencia colectiva en la evaluación de políticas, abriendo a la comunidad científica los datos cedidos para este Spending Review y ofreciendo la infraestructura de seguridad construida para garantizar la confidencialidad de los datos, así como el tratamiento previo de la información recopilada para facilitar su uso para el análisis. Con ello, la AIReF quiere contribuir a la consecución de una verdadera estrategia nacional de evaluación de políticas públicas”.
Creo sinceramente que esta es la buena y única dirección. Bien estaría que los distintos grupos políticos dieran un paso conjunto y apoyarán esta iniciativa, regulando y proporcionando los recursos que facilitar esta tarea y puedan así beneficiarse de esta labor.
Desde luego, creo que recibiría el apoyo casi unánime de la comunidad científica. Mi pregunta es: ¿qué podemos hacer desde la comunidad científica para mostrar nuestro firme apoyo a esta iniciativa?
(*) Graham Leicester (1999) Viewpoint: The Seven Enemies of Evidence-Based Policy. Public Money & Management 19:1, pages 5-7. vía Eulalia Dalmau,
http://findouteulalia.blogspot.com/2018/07/back-to-basics-7-enemies-of-evidence.html
(**) Una propuesta similar se puede encontrar aquí para su implementación por el Congressional Budget Office (CBO) de EEUU. Este ya evalúa el presupuesto y otorga una puntuación a cada acción o programa en función de los costes que generaría si se convirtiera en ley. Esta puntuación es ponderada ponderada en función de los beneficios esperados para los ciudadanos (en términos de salud, carga fiscal, seguridad nacional, .., pero estas ponderaciones no se basan aún en la evidencia empírica disponible. Estas puntuaciones también podrían variar en función de la fuente de financiación, por ejemplo, vía una reducción de impuestos o unas subvenciones (ver por ejemplo, esta propuesta)
No hay comentarios:
Publicar un comentario