Criterios de evaluación del proyecto

Metodología cualitativa y emergente

Aunque no excluimos aquí ningún tipo de acción evaluadora, sí que es cierto que se prefiere una visión cualitativa cuando nos da una visión más global que lo cuantitativo (Mayorga, 2003). La investigación cualitativa, como sabemos, parte de la necesidad de comprender los procesos que se producen dentro de la realidad del aula o del centro, centrándose en casos y contextos específicos. Se deben establecer en primer lugar una serie de preguntas de investigación (nunca hipótesis), teniendo en cuenta que las variables no pueden establecerse por completo de antemano, sino que debe quedar un margen para los posibles temas que vayan surgiendo (temas emergentes), y que los temas muchas veces nacen, crecen y mueren (Stake, 1995). El tipo de conocimiento que genera este tipo de investigación no se basa tanto en relaciones de causas y efectos como de llevar a cabo una comprensión de la realidad desde los múltiples puntos de vista de las personas implicadas. Las conclusiones (o más bien reflexiones a partir de lo investigado) son en realidad “pequeñas generalizaciones” (Stake, op. cit.) basadas en un contexto específico. Suárez Pazos (2002:s.p.) habla más bien de “generalización naturalista”, e indica que en muchas ocasiones depende más del lector que del propio investigador. Más útil que el concepto de generalización es probablemente el de “transferibilidad”. En este tipo de investigación no se trata tanto de buscar conclusiones con pretensiones objetivas o generalizables como de “sugerir” al lector posibilidades de transferir esas ideas, seguramente adaptándolas, a otros contextos educativos. Las conclusiones son en realidad “hipótesis de acción” (Suárez Pazos, 2002:s.p.).

La manera en que finalmente evaluemos todas nuestras acciones será (igual que el resto de actividades y propuestas incluidas en este proyecto) consensuada entre toda la comunidad de forma democrática. En muchas ocasiones “iremos construyendo” la forma de evaluar en función de los focos de interés y necesidades de información que aparezcan, tomando para ello como referente teórico el concepto de “metodología emergente”, de Saville Kushner (2002:89-90): “[...] La nueva forma de pensar en los datos y su iluminación de los problemas, es también un nuevo modo de pensar en la metodología. No se “la” puede aprender a partir de los libros o de los expertos, y desde luego no se “la” puede tomar ni se “la” puede aplicar. La metodología naturalista es algo que usted tiene que descubrir, es emergente. [...] Pienso que la metodología es algo que se elabora como forma de expresión. Es un constructo personal”. Por otra parte, Kushner habla de la necesidad de que examinemos nuestras metodologías para ver si favorecen o no la justicia social (op.cit.:33), y de que es necesario que seamos conscientes de nuestras creencias y limitaciones a la hora de hacer elecciones metodológicas (op.cit.:93). Seguir una metodología de forma rígida puede llevarnos incluso a eximirnos de nuestras responsabilidades como investigadores (op. cit.:38). Imaginemos el extremo opuesto a la idea de “metodología emergente”: si para ser investigador yo tengo que cumplir una determinada metodología de modo tajante, ¿qué ocurre si en determinado momento actúo en perjuicio de los propios investigados? ¿qué ocurre si fracaso en mis intenciones, en mis propósitos de investigación? ¿y si resulta que no respondo a ninguna de mis preguntas de investigación? ¿y si los resultados no son ni siquiera mínimamente relevantes? Siempre podré alegar que “yo solo quería ser investigador”, “yo solo he aplicado aquello que es requisito indispensable para investigar”. Esta es la idea de Kushner.

Metodología comunicativa crítica

El CREA (2006c:s.p.) recogen, al hablar de la metodología comunicativa crítica que “los individuos y las sociedades tenemos capacidad para interpretar y comprender el mundo social, ya que la realidad se construye a través de las interpretaciones que las personas hacemos y de nuestras interacciones sociales. Ningún método ofrece la comprensión detallada que proporciona el contacto directo, al escuchar y recoger las opiniones y los relatos de las personas participantes e interpretar con ellas sus propios contextos, ya que mediante la inteligencia cultural y la conciencia práctica pueden conocer la realidad social y basar en este conocimiento su proyecto de vida”. En este contexto, continúan afirmando desde CREA que las personas investigadoras se sitúan en el mismo nivel que las investigadas, tanto en la investigación como en la interpretación de las acciones: todo el mundo aporta sus interpretaciones, sus experiencias, y a través del diálogo llegan a consensuar los argumentos. Una investigación comunicativa crítica se distingue por las siguientes características:

1. Cualquier persona tiene capacidad para comunicarse e interactuar con otras, por tanto también pueden todos comentar, analizar, interpretar y evaluar las acciones.

2. No se puede imponer lo que es bueno o verdadero mediante una posición de poder de quienes forman parte del equipo evaluador, sino que todo debe ir orientado al entendimiento, los mejores argumentos, negociaciones susceptibles de acuerdo…

3. Se contempla la posibilidad de facilitar la autoevaluación mediante consejos asesores, que comentaremos en el apartado siguiente.

Autoevaluación e investigación dialógica

Partiendo de un punto de vista democrático, la evaluación debe basarse en la comunidad, la diversidad y la responsabilidad mutua (Simons, 1999:68). Las escuelas, indica Helen Simons (op. cit.:201 y ss.) que deben participar en el desarrollo de la evaluación y la puesta en común del conocimiento, iniciando evaluaciones como respuesta a sus propias necesidades, reflejando la experiencia real de la escuela. Para ello, deben fijarse unos objetivos ambiciosos y unas escalas temporales realistas, de manera que el proceso de autoevaluación resulte fiable.

Recordemos ahora las tres últimas fases recogidas en el Proyecto (ver apartado 5.2), que se referían a la “investigación”, “formación” y “evaluación”, respectivamente. Zudaire y Lavado (2002:53), comentan, al referirse a un caso concreto de Comunidad de Aprendizaje ya en funcionamiento que en un seminario, “desde un estilo de investigación-acción” se analizan las experiencias que van implantándose y se elaboran propuestas prácticas para el profesorado: “la evaluación, tanto del proyecto como de la evolución del os alumnos y alumnas. Para ello se realizan encuestas entre todas las familias y profesorado para conocer los aspectos más y menos fuertes del proyecto, el grado de satisfacción acerca del mismo y las propuestas de cambio y/o mejora que hay que plantear de cara al futuro próximo”. Aunque en esta cita se refieren los autores a un tipo de metodología cuantitativa (los cuestionarios) que tampoco descartamos aunque prefiramos la cualitativa, lo que pretendemos nosotros es reflejar los paralelismos existentes entre las tres últimas fases contempladas, la autoevaluación y la investigación-acción.

Carmen Elboj y Jesús Gómez (2001:71-94) aclaran algunas técnicas de evaluación o investigación dialógica que aquí incluimos. Estas técnicas son quizá las más directamente relacionadas con nuestro Proyecto, por proceder de los mismos principios del aprendizaje dialógico que impregnan la totalidad del mismo. Vienen a completar aquéllas técnicas que comentábamos más arriba al referirnos a Elliot en cuanto a la investigación-acción, y son en realidad técnicas cualitativas en las que se ha tenido en cuenta el componente comunitario y dialógico. A continuación, las comentamos con más detenimiento:

a) Tertulias dialógicas.- Como técnica de investigación, se trata de grupos de discusión que cumplen las siguientes premisas y características:

• El estudio de la vida cotidiana se basa en la reflexión de los propios actores.
• Los actores orientan sus acciones según sus propias interpretaciones y en interacción con los demás.
• Los actores interpretan sus vidas constantemente a partir de su situación actual, en relación con los demás y con su contexto.
• Los grupos de tertulia deben estar formados por grupos naturales: grupos de personas que se conocen, hacen alguna actividad juntos, saben argumentar su situación conjuntamente, suelen dialogar entre sí…
• La tertulia debe realizarse en una de las situaciones comunicativas habituales del grupo.
• La tertulia es una comunicación entre iguales. Si hubiera algún investigador externo (que en este apartado 10.1 no se contempla pero sí en el siguiente) tiene que integrarse en el grupo.
• La tertulia es una interpretación colectiva de la realidad.
• La tertulia no termina en el momento en que finaliza el diálogo, sino que continúa en un segundo encuentro en que se debate sobre la trascripción escrita del diálogo. Sobre el papel en que aparecen las voces literalmente recogidas, todos los participantes van haciendo sus propias interpretaciones.

b) Relatos de vida cotidiana.- Un relato de vida suele ser una narración que realiza una persona sobre su vida pasada y presente, sin que haya otras fuentes de información. Sin embargo, los relatos de vida cotidiana consisten en que tanto la persona que entrevista o investiga a otra como la que es entrevistada tratan y comparten los significados e interpretaciones que se van desarrollando a lo largo de éste. Este tipo de relato refleja cómo las personas viven, piensan y actúan en su día a día. Por eso esta técnica se centra en el debate sobre la construcción del mundo de la vida cotidiana de cada persona.

c) Entrevista.- El tipo de entrevista que se propone desde un modelo dialógico es semiestructurada (ya que se parte de unas cuestiones clave que sirven de orientación, teniendo en cuenta que pueden aparecer otros temas). “A la persona entrevistada se le explica previamente el sentido de la investigación [...] y se dialoga con ella para profundizar en sus interpretaciones, interacciones y teorías en las que se refleja el mundo de la vida. Además se pretende, en todo momento, facilitar al máximo la situación interactiva mediante la manifestación de la disposición del entrevistador a la acogida, la aceptación y la concordancia” (Elboj y Gómez, 2001:93).

d) Observación dialógica.- Se basa en la superación de la observación tradicional o incluso de la observación participante, introduciendo los principios de la metodología comunicativa de Habermas y el aprendizaje dialógico de Freire. Este tipo de observación tiene como objetivo una elaboración interpretativa que el investigador realiza de su experiencia. La persona que investiga y la que es investigada comparten los significados e interpretaciones que se van dando en la observación.

Evaluadores y facilitadores externos

Como indica Santos Guerra (1995), la función del evaluador es colocar un espejo ante los actores protagonistas de la educación, teniendo en cuenta que la reflexión sobre el funcionamiento de los centros es una responsabilidad social. Por eso hay que poner la evaluación al servicio de ciertos valores educativos y de las personas que más los necesitan. Este tipo de evaluación debe ser contextualizada, tener en cuenta los procesos y no solo los resultados, dar voz a los participantes (los alumnos también deben participar en ella), preocuparse por su propio valor educativo, utilizar métodos diversos y estar comprometida con los valores de la sociedad. Hay muchos ámbitos que se deben tener en cuenta a la hora de evaluar un programa o centro educativo: la colegialidad, las relaciones, la actividad, las instalaciones y materiales, la organización, los valores… Para este autor, la evaluación ideal es la que parte del propio centro educativo (autoevaluación, por tanto) pero cuenta con asesores externos que facilitan el proceso, aclaran procedimientos, “echan una mano” a los propios protagonistas y sugieren ideas o ámbitos de actuación para que las posibilidades no se limiten a las que conozcan los miembros de la comunidad.

Los protagonistas de la investigación seguirán siendo siempre los propios participantes, pero no se deben excluir a todos los actores sociales que puedan estar relacionados con el tema de investigación: “para ello, se deberá buscar el trabajo en red y el concurso de cuantas personas u organizaciones puedan tener alguna relación con la comunidad y sus problemáticas. Lo contrario supondría una espiral que se cerraría hacia su núcleo o un proceso de encriptación y aislamiento” (Martínez y otros, 2005:58). Se debe constituir, en este sentido, un grupo de investigación o evaluación formado por miembros de la universidad y de la comunidad. Y en nuestro caso tenemos bastante claro quién desarrollaría esta labor, puesto que el contacto y la colaboración ya están consensuados: la Universidad de Almería y la Universidad de Granada.