Evaluación de programas sociales: contexto, evaluabilidad, implementación y análisis

Contexto

El programa opera en un contexto determinado, que le afecta (y que afecta a una posible evaluación del mismo).

Variables

Políticas, económicas, sociales y tecnológicas (PEST).

Características del problema como variables a tener en cuenta.

Metodología: lo mismo que en el punto anterior.

Evaluabilidad

La evaluación puede ser muy útil, pero también es un empeño costoso en recursos de todo tipo. El AE valora las posibilidades de satisfacer unas necesidades/demandas de evaluación a la vista de las características del programa (y de los factores que le afectan).

El AE ayuda en los procesos de delimitación y diseño de la evaluación.

Puede ser más o menos profundo y llevarse a cabo de manera más o menos formalizada.

Simplificando, podríamos decir que depende más del “juicio” de los evaluadores que del “aparato” técnico.

Factores a considerar

• Importancia del programa.
• Evidencia de la necesidad de la evaluación.
• Madurez del programa.
• Posibilidad de introducir cambios en el programa.
• Claridad de los objetivos del programa.
• Existencia de resultados observables.
• Disponibilidad de datos satisfactorios.
• Calendario del programa.

Implementación

Implementación= = Puesta en práctica.

Los programas y políticas “realmente existentes” son lo que se implementa, no lo que se diseña.

Factores que afectan a la implementación

• Las características del problema y del contexto.
• La “teoría causal” en que se basa el programa.
• La claridad del diseño del programa.
• La complejidad del programa y de la estructura de implantación.
• La disponibilidad de recursos y el clima de las relaciones entre los actores implicados.

Cuestiones generales

Qué se evalúa: la cobertura del programa, los sistemas de prestación de los servicios.

Utilidades de la evaluación: Ayuda a mejorar el diseño y la gestión del programa. Ayuda a mejorar el proceso de rendición de cuentas. Indirectamente, ayuda a valorar la eficacia/impacto del programa.

Metodología: Cuantitativa, cualitativa o mixta, en función de las necesidades concretas.

La importancia de la información producida por el programa.

La importancia de las técnicas cualitativas para el estudio de las conductas y las interacciones.

Análisis de la cobertura

El programa definió unas poblaciones-objetivo: ¿Hemos llegado a ellas?

Dado que buena parte de los proyectos sociales tienen como objetivo proveer servicios a un grupo focal, un concepto esencial para determinar su alcance es la cobertura.

Fuentes de sesgo en la cobertura: “Autoselección” de los participantes Selección “perversa” por: preferencias personales o profesionales, comunicación inadecuada, localización inadecuada.

Sistemas de prestación

Aspectos de los programas que son objeto de atención:

• Puntos de producción/distribución
• Recursos del programa
• Mecanismos de gestión del programa
• Mecanismos de acceso al programa
• Interacción del personal del programa con destinatarios y no destinatarios.

Fallos en los sistemas de prestación de los servicios

Programas “fantasma”

Tratamiento erróneo Tratamiento incompleto Falta de estandarización.