Tema 19 – Evaluación y control de intervenciones sociales. Definición y su necesidad. Métodos de diseño de la evaluación. Proceso de evaluación. Técnicas e instrumentos. Organización de los recursos y actividades de evaluación. Tratamiento y organización de la información. Metodología de investigación acción.

1.- Evaluación y control de intervenciones sociales.

2.- Definición y su necesidad.

2.1.- Sobre la noción de evaluación.

2.1.- Necesidad de la evaluación

3.- Métodos de diseño de la evaluación.

4.- Proceso de evaluación. Técnicas e instrumentos.

5.- Organización de los recursos y actividades de evaluación.

6.- Tratamiento y organización de la información.

7.- Metodología de investigación-acción.

1.- INTRODUCCIÓN

La evaluación tiene un papel central en el proceso de racionalización y planificación de las intervenciones sociales.

Evaluar es la única forma de que cualquier acción, proceso o proyecto humano pueda constituirse en un elemento de cambio, de avance o de progreso.

Por otra parte, las decisiones en política social a todos los niveles, especialmente en un contexto de recursos limitados, han de estar basadas en el análisis riguroso de los proyectos, de su desarrollo y de sus resultados.

En general, se puede decir que la evaluación significa recoger y analizar sistemáticamente una información que nos permita determinar el valor y/o mérito de lo que se hace. Determinar el valor o mérito de la intervención no es gratuito; se hace para facilitar la toma de decisiones y con el fin de aplicar lo aprendido con la evaluación a la mejora del propio proceso de intervención

Es cierto que al evaluar intervenciones sociales encontramos dificultades añadidas, derivadas de la diversidad de los tipos de actuaciones y de la complejidad de factores interrelacionados, que dificultan la consolidación de metodologías de evaluación generalizables de uno a otro contexto y exigen una gran capacidad de flexibilización.

Una vez desarrollados los aspectos principales concernientes a la evaluación: definición, necesidad, técnicas e instrumentos, organización de recursos y actividades, tratamiento y organización de la información, desarrollaremos la metodología de investigación-acción como uno de los más recientes aportes metodológicos a los procesos de intervención social. Esta metodología va más allá de la medición utilitaria “de la eficacia” y los logros, evaluando los problemas con que ha tropezado la intervención, la búsqueda de las razones por las cuales ha funcionado y la apreciación de cambios significativos en la práctica profesional.

1.- EVALUACION Y CONTROL EN LAS INTERVENCIONES SOCIALES.

Evaluación y planificación

Evaluación y planificación son conceptos estrechamente relacionados, especialmente desde la perspectiva de la planificación estratégica y la moderna evaluación de programas[JL1] . También abordaremos cuestiones claves del proceso metodológico, donde planificación y evaluación son indisolubles. Todo ello atendiendo a las necesidades que la práctica de las intervenciones sociales requieren hoy en día.

Planificación y evaluación son dos términos estrechamente ligados a los métodos de intervención social, así como a la gestión de servicios.

Tradicionalmente, cuando se han definido los componentes de la estructura metodológica subyacente en las diferentes metodologías de intervención social ( Trabajo Social, Desarrollo Comunitario, Educación de adultos, Investigación-acción-participación, Animación Sociocultural, Educación Social, etc.), se han establecido o incluido los siguientes:

– estudio-investigación y diagnóstico.

– planificación y programación.

– ejecución o fase operacional.

– evaluación y control.

Prácticamente toda la bibliografía al uso, plantea el proceso de intervención social en estas etapas o momentos, independientemente de que se les denomine así o de otra forma.

Este esquema metodológico aborda las relaciones entre planificación y evaluación de la siguiente forma:

– Es necesario planificar la intervención para asegurar una intervención más efectiva.

– Es preciso evaluar para poder verificar hasta qué punto se logran los objetivos propuestos en la planificación, y si hay que establecer reajustes en la ejecución.

Dicho en otras palabras, la evaluación se percibe como un medio que permite reajustar la programación (sucesiva y permanentemente), a la vista de los resultados.

Evaluación y control

Muy a menudo, la evaluación se ha asociado a control. Desde el punto de vista del paradigma de la planificación normativa, se distinguiría entre los agentes patrocinadores y gestores de los recursos de la acción social, los ejecutantes y los destinatarios. En este modelo, la evaluación sería un mecanismo de control de los primeros sobre los demás (desarrollo y resultados).

Desde el punto de vista de la planificación estratégica la evaluación implica a todos. Y desde el punto de vista de los ejecutores, se prefiere hablar de autorregulación más que de control.

El control externo quedaría más dentro de las actividades de seguimiento.

Cuadro pag. 74. Fotocopiado.

2.- DEFINICION Y NECESIDAD DE LA EVALUACION

2.1.- Sobre la noción de evaluación

En el ámbito científico encontramos diferentes nociones de evaluación que derivan tanto del objeto a evaluar como de la orientación de los evaluadores.

Entre los rasgos más constantes están, por una parte, la pretensión de comparar un patrón de deseabilidad (imagen, objetivo final hacia el cual se orienta la acción) con la realidad según esta se va modificando cómo consecuencia de la acción desarrollada y, por otra, el grado de eficacia en la consecución de los objetivos propuestos.

“Evaluar es fijar el valor de una cosa; para hacerlo se requiere un procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrón determinado”. (Franco 1971). Musto, 1975, define la evaluación como aquella rama de la ciencia que se ocupa del análisis de la eficiencia. Y Weiss (1982): “el objeto de la evaluación es comparar los efectos de un programa con las metas propuestas a fin de contribuir a la toma de decisiones acerca del mismo para así mejorar la programación futura”.

Esta noción de evaluación, centrada en la apreciación del grado en el que se alcanzan las metas resulta de una traslación demasiado simplista de las técnicas de evaluación utilizadas en el ámbito económico hacia lo social y conlleva algunos riesgos y limitaciones.

En primer lugar los riesgos a la hora de fijar metas: subestimación, sobrestimación; riesgos también en la búsqueda de indicadores.

En segundo lugar, la dificultad en atribuir el éxito o al fracaso a qué variables de la intervención.

Por ello existen definiciones que sitúan el énfasis mucho más en lo procesual y sitúan a la evaluación claramente dentro de la propia intervención. La ONU, 1984 se refiere a la evaluación como “el proceso encaminado a determinar de forma sistemática y objetivamente la pertinencia, eficacia, eficiencia e impacto de todas las actividades a la luz de los objetivos. Se trata de un proceso para organizar las actividades todavía en marcha y ayudar a la administración en la planificación, programación y toma de decisiones futuras”.

La OMS caracteriza la evaluación como “un medio sistemático de aprender empíricamente y de analizar las lecciones aprendidas para la mejora de las actividades en curso y para el fomento de una planificación más satisfactoria mediante una selección rigurosa entre las distintas posibilidades de acción futura”.

Cohen y Franco (1992) revisan la noción y sintetizan: “la evaluación es una actividad que tiene por objeto maximizar la eficacia de los programas en la obtención de sus fines y la eficiencia en la asignación de recursos para la consecución de los mismos”.

Las definiciones presentadas ponen de relieve explícitamente tres elementos:

– la pertinencia de las intervenciones: correspondencia entre el diseño y la formulación de objetivos.

– la eficiencia [1]: grado de optimización de los recursos (proceso de intervención).

– la eficacia: grado en que se alcanzan los objetivos. (producto de la intervención).

Implícitamente, late la necesidad de dilucidar la influencia de todo un entramado de interacciones complejas en los procesos y en los resultados.

Desde otra perspectiva, toda evaluación conlleva:

– Obtención y tratamiento de información sobre el fenómeno a evaluar

– Instrumentos de registro y/o medida de las variables relevantes

– Criterios de referencia, que acaban implicando juicios de valor.

2.2.- Necesidad de la evaluación

De la noción de evaluación que venimos representando resulta obvia su necesidad. Aquí expondremos algunas ideas de carácter más general

El desarrollo del Estado de Bienestar ha supuesto un gran crecimiento en los Servicios Sociales, que llevan asociados necesidades de provisión de recursos humanos, materiales y financieros.

Dado que los recursos no son ilimitados, antes bien en muchos momentos y lugares más bien escasos, se hace necesaria la evaluación rigurosa de las intervenciones como parte integrante del proceso de planificación.

A este respecto es especialmente esclarecedora la aplicación al ámbito de los servicios sociales del concepto extraído del análisis económico de función de producción, entendido como transformación de recursos o factores productivos en productos – bienes o servicios (inputs/outputs).

Este concepto se comprende con total claridad aplicado a sectores productivos como la industria y la agricultura que absorben y generan flujos materiales fácilmente identificables y ha habido más resistencias al aplicarlo a servicios como educación, sanidad o servicios sociales, en los que los productos son más difíciles de objetivar.

Sin embargo, lo que es evidente es que llegan demandas relativas a la necesidad de evaluar las intervenciones sociales desde al menos tres direcciones:

– Las instituciones

– Los ciudadanos

– Los propios profesionales de la intervención social

Las instituciones

Las instituciones que financian programas y servicios demandan cada vez más evaluaciones rigurosas de las actividades que promueven. Se exigen medidas objetivas sobre efectividad de la acciones y no bastan los testimonios personales, los informes descriptivos o el grado de satisfacción personal y profesional de los agentes que intervienen.

Los ciudadanos

Los ciudadanos en su condición de usuarios, muchas veces a través de distintos tipos de asociación, exigen calidad en la atención recibida por los servicios sociales y que los programas respondan a sus necesidades reales.

Pero además en su condición de contribuyentes exigen conocer el valor de las intervenciones en las que se gasta su dinero.

Los propios profesionales de la intervención social

Los profesionales que prestan servicios son cada vez más conscientes de desarrollar programas adecuados a las necesidades de la población y de estar en condiciones de demostrar su calidad, por lo que son ellos mismos los más interesados en incluir en sus intervenciones mecanismos de evaluación y autorregulación..

Por otra parte, la evaluación no sólo ayudará a mejorar la calidad de los servicios sino que resulta ser una forma adicional de investigación en la que la ciencia básica y aplicada se sirven mutuamente. [2]

Se puede polemizar sobre la metodología de la evaluación de las intervenciones sociales, se pueden criticar planteamientos puramente economicistas que no son capaces de valorar adecuadamente los beneficios de la ayuda social, pero no cabe ninguna duda de la necesidad de evaluar.

3.- Métodos de diseño de la evaluación.

Los métodos de diseño de la evaluación están en función de diferentes variables y criterios como el tiempo de la realización, objetivos que se persiguen, quienes la realizan, a quien va dirigida… que dan lugar a diversos tipos de evaluación que utilizaremos como hilo conductor de la exposición.

Fotocopias sobre Tipos de evaluación

4.- Proceso de evaluación. Técnicas e instrumentos.

Desde el inicio del tema venimos señalando la dificultad de presentar una metodología general de evaluación de intervenciones sociales, dada la gran variedad de situaciones y posibles orientaciones del evaluador., resultaría igualmente difícil exponer un proceso o unos instrumentos con carácter general. por ello, y en aras de una exposición coherente y contextualizada nos centraremos en los procesos relativos a dos paradigmas de evaluación: la evaluación de impacto y el análisis costo/Beneficios ; paralelamente nos referiremos a los oportunos instrumentos

La evaluación de impactos

En este tipo de evaluación importa calibrar y valorar los efectos o repercusión que una determinada acción, proceso o programa ha tenido sobre el medio social en que fueron implementados. Dice Ventosa que la dificultad de este tipo de evaluación deriva de tres obstáculos concretos:

– la complejidad de obtener indicadores adecuados

– la dificultad de dilucidar relaciones causa-efecto entre las múltiples variables intervinientes, y

– del tiempo necesario que, a menudo, ha de pasar hasta que se produzcan los efectos.

De los objetivos a los indicadores

Una instancia central del proceso de evaluación consiste en determinar el grado en que se han alcanzado las finalidades de la intervención. Esto requiere dimensionar el objetivo general en subconjuntos de objetivos específicos, que a su vez tendrán “metas” cuyo logro se medirá a través de indicadores.

En la evaluación, el indicador es la unidad que permite medir el alcance de un objetivo específico. Se puede distinguir entre indicadores directos e indirectos. Los primeros traducen el logro de un objetivo específico en una relación de implicación lógica. Si un objetivo educacional es disminuir la tasa de repeticiones de curso en la Universidad, su definición ha determinado el indicador: variación porcentual de repeticiones en los estudios determinados.

Los indirectos deben ser construidos. Si un proyecto tiene como objetivo aumentar la participación comunitaria, las metas e indicadores surgen de las formas en que la participación se expresa. En este caso, la relación entre la meta y el indicador es de carácter probabilístico, por lo que resulta conveniente incrementar el numero de indicadores para lograr una medición adecuada.

Lazarsfeld (1973) en un trabajo clásico plantea la secuencia que permite la transformación de los conceptos en variables:

i) Se parte de una representación literaria del concepto. Por ejemplo “la noción de inteligencia proviene de una impresión compleja y concreta de vicacidad o embotamiento mental”.

ii) La segunda fase consiste en la especificación del concepto, que implica su división en las dimensiones que lo integran. El concepto de inteligencia se descompone en: abstracta, verbal, manual….

iii) La tercera etapa es la elección de indicadores que permitan medir cada una de las dimensiones del concepto. En el ejemplo seguido cada una de las dimensiones se mide a través de un conjunto de tests.

iv) El cuarto paso es la formación de índices para sintetizar los datos resultantes, determinado que relación guardan estos entre sí (sumatoria simple, ponderada… ).

Cuestión asociada a la elección de los indicadores será la de los instrumentos de medida y las condiciones de validez y fiabilidad.

La causalidad y los métodos de la investigación experimental

La evaluación de impactos pretende establecer en que medida la intervención mejora la situación de partida en un función de los objetivos propuestos: la magnitud de los cambios, en que segmentos de población y en qué medida.

Esto significa suponer que existen relacione causales entre variables. Ya Aristóteles afirmaba que para producir un efecto se requieren causas de dos tipos (dos del ser y dos del devenir): la causa material, la causa formal, la causa eficiente y la causa material La ciencia moderna retoma la causa eficiente aristotélica como “la condición necesaria y suficiente para la aparición de algo”,

Los métodos experimentales son los medios para establecer relaciones causa-efecto entre las variables.

El modelo experimental clásico presenta dificultades notables al aplicarlo a situaciones sociales. Este método exige la conformación de dos poblaciones (grupo experimental y grupo control) en las que asegura que la única diferencia sea la variable objeto de tratamiento.

El modelo experimental clásico constituye la forma más vigorosa de identificar los cambios producidos por una intervención, pero sus condiciones son extremadamente exigentes en el ámbito social.

La principal dificultad radica en que se requiere la selección aleatoria de los integrantes de cada uno de los grupos, con unas muestras además sustancialmente mas grandes, y mas caras, que en otros modelos.

La aplicación de este modelo plantea incluso consideraciones de carácter ético, que son un obstáculo para la experimentación social. Greenwood se ha referido al “efecto conejillo de Indias” en relación de las personas y los grupos a ser objeto de experimento.

Un problema insuperable surgiría si en el proceso de selección hubiera que excluir de los beneficiarios a quienes conforman el grupo de comparación. No sería fácil, ético ni presentable la exclusión de los más necesitados.

En los modelos cuasiexperimentales no se agrupa aleatoriamente y presentan distintas modalidades de las que veremos aquí las series temporales y los grupos de control no equivalentes.

a) Series temporales

Se construyen sobre la base de mediciones periódicas efectuadas antes, durante y después de la intervención. Según las formas de las gráficas resultantes es posible determinar el impacto de la intervención y su magnitud.

Gráfico

Limitaciones

b) Grupos de control no equivalentes o de comparación

Consiste en comparar los resultados en grupos con intervención y sin intervención, pero no formados aleatoriamente. (Por ejemplo: se utiliza como grupo de control personas que no se enteraron del proyecto o residían en otro lugar).

Es aplicable en muchos casos, por ejemplo, cuando se evalúan intervenciones destinados a erradicar la pobreza en los que el criterio de selección más importante es el nivel socioeconómico.

Finalmente nos referiremos a los modelos no experimentales

En aquellos casos en los que la población objetivo no puede ser comparada con un grupo testigo hay que encontrar alternativas para descartar los efectos exteriores no atribuibles a la intervención.

De Cohen y Franco extraemos el modelo antes-después en los que se trabaja con un solo grupo, el que es objeto de la intervención

Gráfica

El análisis costo/efectividad

Existen distintos modelos centrados en el análisis de las relaciones beneficios sociales/recursos empleados. Veremos el modelo ACE (análisis costo-efectividad) no sin antes dilucidar los conceptos centrales en estos paradigmas de eficacia, eficiencia y efectividad

Pag 102. Fotocopias.

5.- Organización de los recursos y actividades de evaluación. Tratamiento y organización de la información.

5.1.- Organización de actividades y recursos.

ideas para desarrollar

La evaluación dentro de la planificación. Evaluar la planificación/Planificar la evaluación.

Previsión de recursos: materiales, humanos, económicos.

Los recursos según tipo: interna/externa/mixta

Evaluación de la planificación

Evaluación de la ejecución

Evaluación de la propia evaluación

5.2.- Tratamiento y organización de la información.

Técnicas de recogida de datos

La observación:

La observación participante: aquella que se lleva a cabo con el observador incluido en el colectivo objeto de estudio. Es la principal técnica etnográfica de recogida de datos, pero la participación del observador integrado en el grupo como un miembro más no debe restar objetividad, neutralidad ni significación, pues son estas tres características esenciales de una observación válida.

La observación no participante: aquella que realiza un observador separado, neutral y no intrusivo, registrando los hechos desapasionadamente. Permite la obtención de descripciones exhaustivas, pormenorizadas y representativas de las conductas de los individuos de una Comunidad.

Ventajas de la observación: en primer lugar es posible la captación de la conducta en el momento mismo de su acaecer espontáneo. Igualmente permite obtener datos acerca de aquellos aspectos de conducta actuales que suelen pasar inadvertidos al individuo. Vale para observar conductas no verbales y requiere de menos cooperación de las personas que se trata de estudiar.

Fuentes de error: fundamentalmente son tres: el sujeto observado (reactividad), el observador (sus propias expectativas y su subjetividad perceptiva) y el sistema de observa­ción elegido (derivados del tipo de registro seleccionado, de los dispositivos técnicos utilizados y del muestreo elaborado).

La entrevista

La entrevista estandarizada presecuencializada: no es más que un cuestionario que se administra oralmente. Adecuada para obtener información de muestras amplias, se utiliza en casos donde los resultados son fácilmente cuantificables.

La entrevista estandanzada no presecuenciatizada: como la anterior, pero sin seguir un orden rígido.

La entrevista no estandarizada en este tipo de entrevista no se sigue ningún orden prefijado, sino que en un enfoque informal ser habla de cuestiones generales y concretas previamente seleccionadas. Las preguntas abiertas darán una información preferentemente cualitativa y las preguntas cerradas son más aptas para obtener respuestas de carácter cuantitativo.

Sea cual sea el sistema de entrevista que se emplee, siempre habrá de tener en cuenta que las preguntas han de ser formuladas en lenguaje claro y significativo para los entrevistados y que todas las preguntas han de ir dirigidas a explorar los mismos asuntos o temas.

La encuesta

Por encuesta se entiende una conversación intencionada dirigida a seleccionar información, sea por escrito, por teléfono, cuestionario, o por medio de una entrevista personal entre dos personas o más. Es una búsqueda sistemática de información en la que el investigador acude a las personas mismas a que le informen sobre los datos que él desea.

Otras fuentes documentales

Análisis y tratamiento de datos.

Una vez categorizados y medidos los datos, comienza la labor de análisis y de enriquecimiento de los mismos por medio de su manipulación estadística.

Los procedimientos de análisis de datos y la posible interpretación de los resultados han de estar ya previstos y anticipados antes de realizarse su regida, e incluso antes de la construcción del cuestionario o de la preparación de un esquema para efectuar una observación o un análisis de los documentos.

Antes de proceder al análisis e interpretación de los datos, estos han de ser sometidos a ciertas operaciones para hacerlos más manejables e inteligibles desde el punto de vista de nuestra hipótesis de trabajo:

– Categorización: se establecen categorías en que es posible dividir a la población estudiada.

– Codificación: es el procesamiento de transformación de datos en símbolos numéricos, para hacer más fácil su computación y tabulación.

Las nuevas tecnologías ofrecen herramientas que facilitan la labor de análisis y tratamiento de datos: desde hojas de cálculo y bases de datos de utilidad general que puede utilizar cualquier usuario a programas esepecializados en tratamiento estadistico, pasando por aplicaciones “llave en mano” es decir, diseñadas a medida de nuestras necesidades.

Una cuestión asociada al tratamiento de datos la necesidad de asegurar la confidencialidad de aquellos que afecten a la privacidad de las personas o grupos sociales.

6.- Metodología de investigación-acción.

La I- A presenta una metodología específica, apartado de las corrientes que han influido en los métodos de investigación educativa y social tradicionales.

Mientras que el científico natural y el del comportamiento comienzan con un problema teórico definido en su propia disciplina, el investigador en la acción comienza con un problema teórico definido en su propia disciplina, el investigador en la acción comienza con un problema o planteamiento práctico.

Partiendo de este principio de la I-A, todos los autores coinciden en admitir el modelo de “proceso en espiral” diseñando por Lewin, y cuyos pasos siguen la siguiente frecuencia:

1. Aclaración y diagnóstico de una situación problemática en la práctica.
2. Formulación de estrategias de acción para resolver el problemas.
3. Implantación y evaluación de las estrategias de acción y
4. Aclaración y diagnóstico posteriores de la situación problemática: (y así sucesivamente en la siguiente espiral de reflexión y acción).

Contreras transcribe estos pasos del proceso en el siguiente cuadro:

6.1.Definición de un problema

Se parte de un problema inicial que nos sitúa en el proceso de indagación y de transformación de la práctica, porque se reconoce una disonancia o distancia entre lo que se pretende y lo que la realidad refleja

6.2. Análisis del problema y recogida de datos.

En segundo lugar, se profundiza en el significado del problema, describiendo por qué lo es, cuáles son sus características, cuál es el contexto en que se produce, así como las distintas perspectivas que puedan existir sobre el mismo, para ello, es preciso recoger todo tipo de evidencias variadas que permitan estudiar el problema y reflexionar sobre él con más datos.

Los procedimientos para recoger información pueden ser de lo más variados. No obstante, la entrevista, la observación y la reflexión introspectiva constituyen los procedimientos fundamentales.

Por otra parte, es imprescindible, en la mayoría de los casos, analizar el problema desde vertientes diferentes en la medida en que cualquier problema educativo presenta una importante pluridimensionalidad: la individual, la académica, la organizativa- institucional y la social.

6.3. Análisis y reflexión

El tercer paso del proceso de investigación consistirá en el análisis de los datos e interpretaciones obtenidas a la luz de las pretensiones educativas planteadas.

6.4. Propuesta de acción

El ciclo investigador en la acción se cierra con la elaboración de las propuestas de acción y realización de la misma. No puede olvidarse que el proceso de la I-A debe ir dirigido a la transformación de la práctica. Ahora bien, cualquier propuesta de acción debe interpretarse en un sentido hipotético, en la medida que se emprende una nueva actuación como un supuesto de mejora de la práctica que debe analizarse de nuevo con la apertura de una nueva “espiral” o proceso investigador.

BIBLIOGRAFÍA.

Pérez Serrano. M.G. (1990) : Investigación – acción. Aplicaciones al campo social y educativo. Madrid. Dykinson.

Pérez Juste R. y García Ramos, T.M. (1989): Diagnóstico, evaluación y toma de decisiones. Madrid. Rialp.

[1] Eficacia, eficiencia y efectividad se definen más adelante.

[2] En el último epígrafe abordaremos en paradigma de Investigación/Acción

[JL1]Habrá que verlo