Punto de partida
La evaluación de cualquier programa es imprescindible por una larga lista de razones. Aquellos programas que se modelan en cada edición partiendo de los resultados de la evaluación tienen más posibilidades de afianzarse y crecer.
Cuando tuve que enfrentarme al reto de evaluar un certamen de narración oral que acaba de comenzar su trayectoria, tenía la esperanza de encontrar un manual tipo “Evaluation of cultural programs for dummies” , pero no hubo suerte. Cualquiera que se haya visto en la misma situación, habrá comprobado que la literatura sobre este tema es escasa; mi punto de partida era el Decálogo de condiciones de cuento de AEDA, otras experiencias en animación sociocultural recogidas en publicaciones de los años 80, un módulo de evaluación de programas de formación elaborado por José Tejada Fernández en el 2004 que me resultaría muy útil, y la Guía para la evaluación de las políticas culturales locales publicada en el 2009 por la Federación Española de Municipios y Provincias, que me proporcionaría las pistas sobre los indicadores. Incluso recurrí a los apuntes de la carrera, para acabar desconfiando de mi habilidad de búsqueda. El tiempo que podía dedicar a la fase de documentación era limitado, puesto que el certamen había finalizado y las memorias de los participantes podrían perder frescura cada día que pasaba... Tocaba arremangarse.
Comenzar por el principio: ¿cuáles son las piezas del engranaje?
Diseñar el modelo de evaluación a estas alturas tiene sus inconvenientes, como por ejemplo la dificultad de contactar con algunos narradores o que su recuerdo sea borroso. La gran ventaja es que ya se ha recogido toda la información necesaria y así el modelo se ajusta perfectamente a las peculiaridades de su objeto. Es preferible que la información sea de primera mano; en mi caso la obtuve mediante la observación directa y participante, puesto que asumí la coordinación del programa y acompañé a los narradores a todas las sesiones. Además compartí su tiempo entre narración y narración, momentos que podrían asemejarse a una entrevista no estructurada; la oportunidad de escuchar en primera persona las impresiones tanto de narradores como de responsables de espacios de narración o de los espectadores es valiosísima para definir los elementos claves de las valoraciones. Los destinatarios principales del cuestionario de la evaluación son, pues, estos dos: narradores y responsables de los espacios de narración. Lo ideal es tener acceso directo a la opinión del público; si no es posible, puede incluirse este grupo dentro del cuestionario dirigido a responsables de los espacios de narración, para que sean ellos quienes recojan sus valoraciones y las reflejen por escrito. Las piezas para construir el modelo están listas... y las herramientas por fabricar.
Bricolaje sociocultural: la importancia de las herramientas
Hay dos tipos de información por interpretar y relacionar: los datos cuantitativos y los datos cualitativos. El número aproximado de oyentes (cuando se trata de un público concertado) se obtiene durante la coordinación previa con el espacio de narración, ya que es fundamental para el narrador prepare el repertorio, tal como recomienda el Decálogo de condiciones de cuento. Realizar fotos con el permiso del narrador y los responsables del espacio durante las sesiones, especialmente en las abiertas al público, facilita posteriores recuentos “de seguridad”. Y si los narradores las reciben junto al cuestionario, constituyen una herramienta extra para afinar sus respuestas.
Más peliaguda es la recogida de datos cualitativos. Cada cuestionario ha de estar adaptado a su destinatario; en el caso de los festivales, en los que un mismo espacio acoge a varios narradores o un narrador cuenta en espacios diferentes, resulta vital reflejar las sesiones por separado, indicando el nombre del narrador o el espacio, fecha y hora, número aproximado de oyentes y características en la medida de lo posible (el curso si se trata de un centro escolar). No negaré que esta parte es la más laboriosa, pero el resultado merece la pena sin duda.
De los narradores puede obtenerse información:
A. Sobre los aspectos organizativos
- Grado de la comunicación con la organización
- Nivel de acogida y apoyo durante el transcurso de la estancia
- En el caso de producirse alguna incidencia, ¿la resolución fue adecuada?
B. Sobre las sesiones programadas
- ¿Fue adecuado el número de sesiones a cada jornada según la programación?
- ¿Fue posible el desarrollo de la sesión según lo previsto?
- ¿Era adecuado el número de asistentes?
- ¿Fue necesario un cambio de repertorio in situ en alguna de las sesiones? En caso afirmativo ¿Cuál fue la causa?
C. Sobre los espacios donde se han realizado las sesiones: instalaciones, necesidades técnicas y escénicas
- Nivel de idoneidad de las instalaciones
- Nivel de idoneidad del ambiente para el desarrollo de la sesión
- Nivel de participación adecuado
- Apoyo por parte del personal docente o laboral
D. Valoración personal sobre la participación en el certamen y propuestas de mejora
De los responsables de los espacios (ya sean centros escolares, asociaciones o cafeterías) puede obtenerse información:
A. Sobre los aspectos organizativos
- Grado de la comunicación con la organización
- Nivel de compatibilidad entre las sesiones programadas y el calendario del centro/ horario del establecimiento
- En el caso de producirse alguna incidencia, ¿la resolución fue adecuada?
B. Sobre las sesiones programadas
- ¿En qué grado fue adecuada la sesión al currículo / a las actividades que realiza el centro habitualmente / a las actividades que realiza el establecimiento habitualmente?
- ¿Cómo valoraron la sesión los alumnos / los usuarios del centro / los clientes del establecimiento?
- ¿Cómo valoró la sesión el profesorado / el equipo del centro / el personal del establecimiento?
- ¿Ha tenido repercusión la participación en el certamen en la vida escolar / del centro / del establecimiento?
- ¿Volvería el centro / establecimiento a participar en el certamen?
C. Valoración del centro / establecimiento sobre la participación en el certamen y propuestas de mejora
Si las bibliotecas participan como espacio de narración, el cuestionario puede enfocarse de modo que la recogida de datos también sea útil para ellas. Puede obtenerse información sobre:
- Grado de la comunicación con la organización
- Nivel de compatibilidad entre las sesiones programadas y el horario de la biblioteca
- En el caso de producirse alguna incidencia, ¿la resolución fue adecuada?
- Grado de adecuación de la sesión a los intereses del perfil de lector habitual
- ¿Cómo valoraron la sesión los usuarios que asistieron a ella?
- ¿Ha habido un aumento del préstamo de los ejemplares relacionados con el contenido de las sesiones?
- ¿Ha habido algún otro tipo de repercusión tras las sesiones en la vida de la biblioteca? En caso afirmativo ¿Cuál ha sido?
- Valoración del personal de biblioteca sobre la participación en el certamen y propuestas de mejora
Una vez confeccionado el cuestionario, se determina la forma más adecuada de hacerlo llegar a su destinatario; lo ideal es que se entregue justo después de la sesión o lo antes posible, por el medio más cómodo para el que lo ha de completar: correo electrónico, postal o en mano, a su elección. Así es más probable que lo devuelvan completado.
La interpretación de los resultados: lectura literal y lectura entre líneas
Las respuestas de los cuestionarios respondidos pueden sistematizarse en tablas, construidas según lo que interese averiguar.
Cruzando las variables pueden desvelarse hechos como, por ejemplo, que para unos centros prime la posibilidad de que todos sus alumnos asistan al menos a una sesión de narración frente a otros centros que prefieran mimar el momento de la narración, ajustando el número de asistentes al óptimo según el espacio y cuidando el ambiente de escucha. O que el mismo espacio para unos narradores resulte adecuado y para otros no, por circunstancias del ambiente.
Parece que cuanto más se atiende a las necesidades propias de cada agente participante, más satisfactoria es la experiencia para narradores y oyentes, a pesar de que las demandas de un centro o narrador sean completamente diferentes a las de otro semejante a priori.
Otro nuevo punto de partida
Las valoraciones de cada agente finalmente pueden organizarse en cuatro tipos:
- fortalezas del certamen,
- aspectos mejorables,
- propuestas concretas de mejora y
- repercusiones del certamen a medio plazo.
Siempre hay sorpresas en este sentido, y la complicación estriba en implementar estas modificaciones dentro de la zona de acuerdo común de narradores, espacios de narración y posibilidades reales de la entidad organizadora, sin que la verdadera esencia del certamen quede desdibujada. Quizá este sistema de fuerzas desplace el punto de partida de la siguiente edición hacia un nuevo horizonte, convirtiendo al certamen en un organismo en constante cambio y a los programadores en auténticos ingenieros socioculturales.