Mensajes clave:
- La evaluación es la última etapa del proceso político, pero también es el momento en que el ciclo se reinicia con nuevas demandas, a partir de los resultados alcanzados;
- Es la fase menos adoptada, por las dificultades inherentes al proceso de evaluación. Y también es la fase donde la participación de la sociedad es menor, pero aun así posible;
- Son ejemplos de la participación de la sociedad en la etapa de evaluación: participación en proyectos de investigación y generación de datos para ayudar a dilucidar cuestiones relativas a una determinada política; alianzas con el gobierno o uso de recursos gubernamentales de investigación en la elaboración de estudios de evaluación; apoyo en la divulgación de estudios realizados por el gobierno;
- La evaluación más común al final del ciclo es la de impacto, que busca medir la efectividad de una política;
- Idealmente, el proceso de evaluación de una política pública debe estar incorporado a la práctica gubernamental para que las decisiones se basen en evidencias. En este sentido, un ejemplo exitoso es el caso de Espírito Santo, que tiene una gobernanza muy clara para la evaluación de políticas, con directrices bien establecidas, guías y recomendaciones.
La última etapa del ciclo político abordada en esta serie de cinco artículos es la evaluación. Representa el momento en que el ciclo político termina, pero también comienza de nuevo en función de los resultados de este proceso. En general, es la fase menos adoptada, debido a las dificultades inherentes al proceso de evaluación.
¿Qué es la evaluación y cómo encaja en el ciclo político?
La evaluación puede entenderse como un proceso de análisis del desempeño de un proceso político particular, por ejemplo un programa o una política. En última instancia, el objetivo es evaluar si la política produjo los resultados deseados en la población, de acuerdo con los objetivos definidos en su formulación. Aunque la evaluación y la investigación son cosas distintas, el hecho de que las evaluaciones utilicen métodos de investigación para analizar la eficacia de una política acaba asociando estos dos términos. Por este motivo, aunque la investigación se asocia frecuentemente con el proceso de evaluación, puede utilizarse a lo largo de todo el ciclo.
El siguiente gráfico ilustra la dinámica del uso de la investigación en el ciclo político, a partir de los resultados obtenidos en las evaluaciones. Dado que el ciclo político es un proceso continuo, la fase de evaluación no representa el final, como se ha dicho anteriormente. Por el contrario, los resultados obtenidos pueden generar el inicio de un nuevo ciclo, nuevas interrogantes, la definición de nuevos temas en la agenda gubernamental y la necesidad de formular políticas - para solucionar posibles problemas detectados o ajustar la política a nuevas necesidades.
La evaluación más común al final del ciclo es la de impacto, que busca medir la efectividad de la política. Sin embargo, las evaluaciones pueden realizarse a lo largo de todo el proceso de la política. En este caso, se utilizan diferentes tipos de análisis. Para cada uno de ellos, existen diversas preguntas orientadoras del proceso de evaluación, y el uso de distintos métodos de investigación, que no se discutirán aquí porque escapan al alcance de este artículo.
Usemos como ejemplo el Programa Más Médicos en Brasil, que fue creado con el objetivo de incrementar la prestación de servicios médicos en regiones donde hay escasez o ausencia de estos profesionales, además de fomentar la formación de médicos especialistas en medicina familiar y comunitaria. Este programa fue rediseñado a partir de la identificación de un problema: la falta de médicos en la atención primaria en localidades remotas o de alta vulnerabilidad social. Partiendo de la necesidad identificada y de la política diseñada para dar solución a este problema, tendríamos las siguientes evaluaciones en cada una de las etapas:
· Evaluación de contenidos: qué municipios necesitan médicos, cuál es la capacidad y necesidad de cualificación de los profesionales, entre otros.
· Evaluación de la implementación: cómo se está llevando a cabo la ejecución del programa, por ejemplo, en la contratación de médicos, adhesión de los municipios, adherencia de los médicos al programa, satisfacción de los usuarios con el servicio, etc.
· Evaluación de impacto: podemos dividir esta evaluación en dos etapas.
Ø Corto plazo:
o Aumento de la cobertura de atención primaria en los municipios
o Aumento en el número de consultas
o Aumento en el número de visitas domiciliarias
Ø Medio y largo plazo:
o Mejora de los indicadores de salud; por ejemplo, control de la hipertensión arterial y la diabetes.
o Reducción de hospitalizaciones por patologías sensibles a la atención ambulatoria, entre otras.
Idealmente, el proceso de evaluación de una política pública debería estar incorporado a la práctica gubernamental, para que las decisiones se basen en la evidencia. El éxito de los programas de seguimiento y evaluación se produce cuando el gobierno reconoce la importancia del uso de este tipo de programa en su gobernanza, incentivos y una proximidad de los sistemas de esta naturaleza a los responsables de la toma de decisiones.
Algunas unidades de la Federación tienen una gobernanza muy clara para la evaluación de políticas, con directrices, guías y recomendaciones de evaluación bien establecidas, como es el caso de Espírito Santo. En este estado existen alianzas con otros actores de la sociedad, como organizaciones no gubernamentales e institutos de enseñanza, conformando una red que trabaja conjuntamente para el proceso de evaluación. Información más detallada sobre el modelo adoptado en Espírito Santo puede ser consultada en el sitio web del Instituto Jones dos Santos Neves, vinculado a la Secretaría de Desarrollo Económico del Estado y dedicado a producir conocimiento para subsidiar políticas públicas en sus diversos niveles.
La evaluación –incluyendo aquí un sistema de seguimiento continuo de todo el proceso– contribuye a la gobernanza, ya que la información que se produce puede respaldar la toma de decisiones, ayudar al desarrollo y mejora de políticas y programas, ayudar en la gestión de las actividades y fomentar una mayor transparencia y rendición de cuentas. Además, debe estar orientada a las partes interesadas, e implicar, siempre que sea posible, al gobierno, la sociedad civil, entre otros actores importantes en este proceso.
¿Cómo puede la sociedad participar en el proceso de evaluación de una política?
A pesar de las ventajas y de algunos buenos ejemplos, el gobierno no siempre cuenta con una estructura organizada y que cuente con la participación de diversas esferas de la sociedad. Además, la evidencia es solo un componente más en la toma de decisiones, pero no es el único, como se analizó en los artículos anteriores. Teniendo en cuenta esta perspectiva, una literatura más reciente ha trabajado sobre el tema de la participación social y el enfoque argumentativo en la lógica de la evaluación. En general, la participación social se ve como un proceso más común a las otras etapas del ciclo, especialmente en la definición de la agenda y la formulación de la política, pero no en el proceso de evaluación.
Esta nueva literatura asume que la evaluación rara vez sigue una lógica racional, en la que un organismo independiente lleva a cabo todo el proceso de evaluación (definición del alcance, necesidades, recogida y análisis de datos) y presenta los resultados de la política. En la práctica, existe una multiplicidad de criterios y perspectivas sobre un tema determinado que deberían tenerse en cuenta y que contribuyen a una comprensión compartida de los distintos ángulos que pueden respaldar una evaluación.
Bajo este enfoque, idealmente la evaluación política participativa implica involucrar a una diversidad de actores que afectan o se ven afectados por una política o programa en el proceso de evaluación. El objetivo sería, entonces, facilitar el diálogo entre los distintos actores de la sociedad que trabajan en promoción en la elección de los criterios de evaluación. Pero más allá de elegir los criterios de análisis, la sociedad puede contribuir al proceso de evaluación y seguimiento de las políticas de algunas maneras. Indico algunos ejemplos de la sociedad civil que pueden servir de inspiración:
· Participación en proyectos de investigación y generación de datos que puedan contribuir a dilucidar cuestiones relacionadas con una política determinada.
Ø La misión del Instituto de Salud y Sustentabilidad es transformar el conocimiento en acción para mejorar la vida en las ciudades, con especial énfasis en el tema de la contaminación atmosférica. Trabaja en el desarrollo de sus propias investigaciones junto a instituciones académicas, y actúa en la divulgación de estos estudios en diversos medios (prensa, televisión, entre otros) y en el uso de esta información para apoyar acciones de promoción (advocacy), especialmente para cambios en la legislación de calidad del aire.
Ø La creación de observatorios de patologías representa un importante instrumento para las asociaciones de pacientes en el seguimiento y la evaluación de políticas, además de la realización de estudios que pueden ser utilizados como instrumentos de promoción en otras fases del ciclo político. Podemos citar aquí el Observatorio de Oncología y Esclerosis Múltiple, creados por la Asociación Brasileña de Linfoma y Leucemia (Abrale) y los Amigos Múltiples de la Esclerosis Múltiple (AME), respectivamente.
· Alianzas con el gobierno o el uso de recursos gubernamentales de investigación para preparar estudios de evaluación o que puedan apoyar la evaluación.
Ø Muchas instituciones trabajan directamente con el gobierno o a través de subvenciones de investigación para la evaluación de programas, como el Instituto Ayrton Senna (en asociación con el gobierno del Estado de Espírito Santo y el Insper), o la Fundación Maria Cecília Souto Vidigal, que trabaja con recursos de subvenciones de la Fapesp, por ejemplo, para la evaluación de programas, y la generación de conocimiento científico que ayude a incidir en las políticas de Brasil y "promover una agenda nacional de investigación que atienda a las zonas poco exploradas".
Ø El Observatorio de Oncología de Abrale, creado de forma independiente al gobierno en 2015, acabó convirtiéndose en una referencia de datos sobre oncología para el propio gobierno, siendo citado en el Portal Brasileño de Datos Abiertos del gobierno federal como fuente de información sobre el cáncer.
· Apoyo en la divulgación de estudios realizados por el gobierno como soporte en acciones de promoción (advocacy) para mejorar las condiciones de vida de la población atendida.
Ø Los grupos de la sociedad civil pueden usar documentos e informes elaborados por el propio gobierno y sus órganos de control para difundir información y fomentar debates que puedan contribuir a la mejora de las políticas públicas. Podemos citar aquí el ejemplo de la Federación Brasileña de Hemofilia (FBH), que en 2009 celebró una audiencia pública en la Comisión de Derechos Humanos del Senado para discutir los cambios en la legislación sobre la compra de medicamentos. En esa audiencia, la FBH utilizó datos de un informe de auditoría operativa realizada por el Tribunal de Cuentas de la Unión (TCU) en 2008 sobre los procesos de adquisición, decisión y ejecución del presupuesto para la compra de factores de coagulación. Esta auditoría fue motivada por el desabastecimiento del medicamento utilizado para el tratamiento de pacientes con hemofilia A en 2008. Las acciones de promoción que surgieron a raíz de este informe (como la celebración de la audiencia pública en el Senado) contribuyeron a la creación de un presupuesto propio para la hemofilia a partir de 2011, lo que garantizó un tratamiento profiláctico a todos los pacientes.
Ø Otro ejemplo de acción de promoción surgida de la utilización de documentos elaborados por el propio gobierno puede darse en el caso de la oncología. En 2011, la publicación de una auditoría operativa también llevada a cabo por el TCU sobre la Política de Atención Oncológica en Brasil reveló que los tiempos de espera para el diagnóstico y el tratamiento del cáncer eran muy altos, lo que contribuía a la elevada mortalidad de los pacientes. La publicación de este informe impulsó el trabajo de asociaciones de pacientes como la Federación Brasileña de Instituciones Filantrópicas de Apoyo a la Salud de la Mama (Femama), como el apoyo y la movilización de sus filiales, a la creación de un proyecto de ley (la Ley de los 60 días, mencionada en el artículo sobre implementación en esta serie) junto a los parlamentarios para reducir el tiempo entre el diagnóstico y el tratamiento del cáncer.
La sociedad civil también puede solicitar a las autoridades públicas que realicen evaluaciones de políticas, o trabajar en colaboración con instituciones académicas con sugerencias de posibles evaluaciones, con base en los problemas que enfrentan sus públicos y el suministro de datos que puedan ayudar en el análisis de programas y políticas. Para ello, es importante que sean capaces de generar datos e información sobre sus públicos.
Existe una diversidad de formas de participación social en todas las fases del ciclo político, como se ha visto a lo largo de los cinco artículos de esta serie. Corresponde a los grupos de la sociedad comprender cómo funciona el proceso político, sus actores y el objetivo a alcanzar. De esta manera, resulta más fácil identificar dónde están las cuestiones de interés en el ciclo político, qué tipos de estrategias se pueden utilizar en cada contexto y qué hay que hacer para poder contribuir a una sociedad más justa, más igualitaria y más participativa.
