Estoy colaborando de forma asidua con la Fundación Liderazgo Chile en la impartición de algunos cursos, vía online, a través de la plataforma Zoom. El título de la conferencia era Evaluar con el corazón (I y II ya que la actividad se desarrollaba en dos sábados consecutivos). Era la segunda sesión.

Los organizadores suelen insistir en que, al final de la conferencia, haya un turno de preguntas. Les había pedido que no hablasen de preguntas sino de intervenciones. Porque cuando se limita ese espacio de diálogo a la formulación de preguntas, se da a entender que quienes asisten a la conferencia solo tienen preguntas y quien la imparte es el único dueño de las respuestas. Y no es así. Después de muchos años de investigación, de haber sido evaluador y evaluado, de haber impartido muchas conferencias y cursos y de haber escrito doce libros sobre el tema, tengo cada día más preguntas. Y estoy seguro que muchos de los asistentes tienen respuestas a esas preguntas mías y a muchas otras que se puedan formular.

Pues bien, al finalizar la conferencia intervino, entre otras personas, la profesora Daniela Rivas. No olvidaré nunca la emoción que desprendían sus palabras. Daniela estudió Pedagogía en la Facultad de Filosofía de la Universidad Católica Silva Henríquez. Actualmente es Orientadora en el Colegio Philippe Coousteau de La Florida (Chile). Contó que en el año 2016, cuando contaba con 21 años y estudiaba cuarto curso, vivió una experiencia impactante. Cursaba la asignatura “Evaluación para el aprendizaje”. Contó que tenía que acudir a un examen presentando un portafolio de resumen de algunos libros míos en los que, como es habitual, hago hincapié en la dimensión educativa de la evaluación. Era el examen final del primer cuatrimestre. Ella acudió en unas condiciones de salud precarias. Y explicó por qué. Cuando viajaba en el metro hacia la Facultad, cinco estaciones antes de llegar a la de destino, se sintió mal y se mareó. Después de abandonar el metro, no podía caminar, motivo por el cual se retrasó un poco. Al fin llegó, nerviosa y asustada, a la sala del examen. Explicó a la profesora lo sucedido, le pidió disculpas por el breve retraso y preguntó si podía empezar a realizar la prueba. La profesora le entregó la documentación y, cuando ella se sentó, escribió en la parte superior de la primera hoja: Menos cinco décimas por llegar tarde.

Años después de lo sucedido, la actual orientadora recuerda aquella frase y siente el dolor de la decepción y de la incongruencia de quien la examinaba. Porque lo que tenía que escribir, si había entendido bien lo que debía estudiar, era algo completamente alejado de aquel comportamiento.

Ella quería escuchar de mi boca si la actuación de la profesora era coherente con el contenido de aquellos textos sobre los que examinaba. Le dije de forma contundente que no. Y creo que Daniela sintió un gran alivio. Mis palabras fueron un bálsamo sobre aquella herida todavía abierta.

¿No era más congruente aceptar la explicación, comprender el problema y animarla para que realizase bien la prueba sin esa injusta penalización? Le dije que aquella profesora no había comprendido el contenido esencial de los textos sobre los que realizaba el examen.

Curiosa experiencia. Una evaluada le cuenta al autor de un texto sobre el que fue evaluada, si aquella evaluadora había sido coherente con el contenido de aquel escrito. Es evidente que no.

He visto muchas incongruencias en nuestra práctica: docentes que hablan de la creatividad al dictado, que explican la motivación teniendo dormido al auditorio y que empiezan la clase diciendo: silencio, comienza la clase de lengua. Cuando hablo de incongruencia recuerdo aquella significativa anécdota de un profesor que le entrega a un alumno una nota manuscrita sobre su hoja de examen. El alumno, que no entiende lo que le dice el profesor, demanda intrigado:

Profesor, no entiendo lo que dice aquí.
El profesor contesta con aplomo:
Ahí te digo que escribas con la letra más clara.

Qué importante es contar las experiencias que vivimos. No sabe Daniela cuánto le agradezco que haya compartido conmigo aquella vivencia.

Estremece comprobar cuánto dolor y cuánta angustia han vivido los evaluados y evaluadas en una actividad que debería ser auténticamente educativa. Es decir, que debería educar a quien la hace y a quien la recibe. Lamentablemente los exámenes siguen siendo, como dice Emilio Lledó en su libro “Sobre la educación”, un “chantaje ritual”.

Hace años invité a mis alumnos de la asignatura de Evaluación a contar sus vivencias. No dije si positivas o negativas. Pero al leerlas me encontré con que casi todas se parecían a la que me contó hace unos días Daniela. Algunos de esos testimonios figuran en mi libro “Evaluar con el corazón”.

Hace unos días he redactado el Prólogo para un libro coordinado por la Profesora Analía Leite Méndez de la Universidad de Málaga. Un libro que contiene relatos sobre evaluación escritos por los alumnos y alumnas de un Máster en el que yo impartí la asignatura Evaluación para el Aprendizaje durante muchos años. Y me he vuelto a encontrar con el mismo fenómeno. La mayor parte de los escritos están impregnados de angustia, de dolor y de tensión.

Reproduzco algunos párrafos de ese libro que se titulará “Narraciones sobre evaluación”.

Ana Becerra Martínez dice en su relato, titulado Y entre las fronteras y los horizontes, siempre TÚ: “Tan solo son diez letras las que forjan dicho término, pero cuánto peso presentan… La experiencia con la evaluación a lo largo de mi vida ha sido similar en las diferentes etapas, lo cual me entristece”.

Esperanza Pilar Corbacho Mazón, con un tono inquietante, que choca con su nombre, de contenido tan optimista, explica: “Casi 20 años después de finalizar mi enseñanza obligatoria me doy cuenta de que todo sigue igual: un sistema memorístico, competitivo, y segregador en el que se siguen valorando habilidades que posiblemente no son nada útiles para el futuro que nos espera”.

María José Palma Moreno, nos cuenta una experiencia que está en los antípodas del diálogo fecundo que debería propiciar la evaluación “¿Cómo tienes la cara de venir a reclamar?, me preguntó. Nunca olvidaré la frase que vino a continuación: Anda, vete de aquí y céntrate, que es lo que tienen que hacer. Y para la próxima estudia mejor”. ¿Quién se atrevería a volver a negociar?

“La evaluación, desde mi experiencia, lejos de suponer un aprendizaje como indica el nombre de este módulo (La evaluación como aprendizaje) ha supuesto más bien momentos de tensión y angustia”, dice Adrián Jiménez Jurado.

“Llegué a odiar la guitarra y a ella (la profesora), no quise saber nada de música por mucho tiempo al acabar mis diez años de estudio”, apunta con dolor Laura Andrea Pañagua Domínguez.

“Para ella, mis compañeros y yo teníamos más de loros que de personas, pues al parecer no servíamos para otra cosa que para repetir lo que otros habían dicho”. Dice en un lugar de su relato Ana Márquez Román.

“En ese momento me sentí avergonzada y derrotada. No sabía por qué tenía que hacer aquello, por qué lo hacía mal o qué tenía que hacer para hacerlo bien”, escribe Gabriela María Flores Ávila González.

Me pregunto por qué es tan recurrente el entramado de sentimientos angustiosos en las narraciones si la evaluación ha de ser un proceso de diálogo, comprensión y mejora, si tiene que ser un proceso humanizado y formativo. El problema es que la evaluación encierra poder y el poder no siempre se utiliza al servicio de las personas. Debería favorecer el análisis, la comprensión, el diálogo, la mejora y la liberación.

Así se las han ingeniado los profesores para dar clase a nuestros hijos

Ahora que han llegado las vacaciones escolares, docentes y psicólogos hacen un balance de estas semanas de enseñanza online

Se cumple casi un mes de confinamiento concidiendo con las vacaciones de Semana Santa para más de diez millones de alumnos en nuestro país. La imagen en muchos hogares españoles sigue siendo la misma: Niños y adolescentes pegados a las pantallas de sus tabletas. Ya no hablan con sus profesores, ahora lo hacen con sus amigos. Algo magnífico e indispensable en tiempos de encierro, en palabras de la psicóloga Arwen Caban: “los adolescentes necesitan ese contacto, ver las caras de sus amigos, es indispensable que les permitamos abusar de ese contacto online y más ahora que están de vacaciones”. Caban aconseja a los padres ser más laxos con los hijos en este tema, aprovechar lo bueno de la tecnología, sobre todo después del esfuerzo que han supuesto estas tres semanas de enseñanza virtual.

¿Cómo han reaccionado los alumnos a la novedad de las clases online?
Paloma Rodríguez lleva 38 años dando clases de matemáticas en un centro privado a las afueras de Madrid. Confiesa que no concibe la educación sin ver a sus alumnos, así que desde el primer día habló con ellos y les propuso seguir con la misma clase de matemáticas diaria a través de la plataforma digital del colegio. La respuesta fue buenísima: “Aparecieron todos enloquecidos diciéndome que no querían estar solos todo este tiempo, que querían verme y estar con sus compañeros; estoy muy satisfecha de lo que hemos conseguido”.

Pero no todos los docentes han vivido la misma experiencia. “Yo he tenido muchos alumnos con problemas de ansiedad, sobre todo niños muy responsables que se han preocupado mucho por su evaluación”, asegura Álvaro Benjumea, profesor de lengua y literatura en el instituto público Pinto Montano de Sevilla. Muchos de los alumnos de este profesor no tienen conexión a la red así que los canales de comunicación no ha sido fáciles: “Abrí un canal de Telegram para comunicarme con mi clase y así es como me he conectado con ellos estas tres semanas a todas las horas, no siempre a la hora de la clase. Ha sido dedicación plena todo el día”. Esfuerzo e ingenio de los profesores para conseguir un objetivo: que los alumnos acaben el curso de la mejor forma posible.

Manuel Bellón, director del colegio Base, un centro privado con más de 800 estudiantes en la localidad madrileña de Alcobendas (Madrid), confiesa que nunca imaginó vivir esta situación con "mis hijos, mis alumnos y mis profesores en casa”. Bellón asegura que lo más complicado de todo ha sido “adaptar el aprendizaje online en tan poco tiempo”, además de cuidar el estado emocional de las familias y de los alumnos: “El objetivo desde el principio fue que no se sintieran solos, hemos intentado estar ahí desde el primer momento atendiéndoles en todos los aspectos incluso con charlas web de psicólogos especializados en jóvenes”.

Las clases se reanudarán el próximo 13 de abril de nuevo a través de una pantalla. El esfuerzo del profesorado se centra en dotar de normalidad esta situación y en asentar los conocimientos obtenidos, con la enseñanza presencial prevista para el curso que viene.

https://elpais.com/sociedad/2020-04-09/video-asi-se-las-han-ingeniado-los-profesores-para-dar-clase-a-nuestros-hijos.html

Reino de España: ¿Quién mide el impacto de las políticas públicas?

En un momento donde España sigue afrontando duros controles presupuestarios mientras la desigualdad, el desempleo y subempleo y la pobreza severa afectan a buena parte de la población, la necesidad de implementar programas públicos más útiles y eficientes es acuciante. Nos enfrentamos a situaciones donde las soluciones del pasado no parecen darnos la clave para solventar los problemas de hoy, y todavía existe una gran ausencia de enfoques innovadores en el diseño de políticas públicas.

Aunque se proponen alternativas viables para aumentar la experimentación de políticas y la toma de decisiones basadas en la evidencia científica, España aún tiene un gran déficit a la hora de obtener datos que ofrezcan luz sobre los cambios que están produciendo los programas públicos sobre la población, una pregunta esencial en el proceso político pero que no suele ser abordada de manera suficientemente rigurosa.

Evitar este tipo de situaciones debería ser labor de una agencia de evaluación de políticas, que mida los impactos y demuestre en base a datos, no opiniones ni intuición, que un programa está funcionando según lo esperado. La evaluación es un elemento esencial para mejorar la eficiencia de los programas públicos.

Desde 2007, en España existe la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), un organismo estatal dependiente del Ministerio de Hacienda cuya función es la de elaborar informes para favorecer el uso racional de los fondos públicos. Sin embargo, por varias razones -carencia de recursos, falta de personal preparado, falta de independencia y apoyo político, etc.- la Agencia no ha dado los resultados esperados.

La OCDE ha reclamado repetidamente la necesidad de reforzar la AEVAL, la publicación obligatoria de sus evaluaciones y la mejora de la coordinación entre ministerios e instituciones a nivel nacional y regional. La preocupante descoordinación entre instituciones y otras “serias deficiencias en los sistemas de gestión y control” han hecho perder a España más de €1.000 millones en fondos europeos para proyectos de transportes, energía, medio ambiente o investigación.

Es especialmente preocupante la ausencia casi total de información sobre evaluaciones de impacto en nuestro país. Este modelo de evaluación establece una relación causal basada en un conjunto de métodos experimentales y cuasi-experimentales como la asignación aleatoria (RCT) o la regresión discontinua. Las evaluaciones de impacto proporcionan información sobre los efectos que un programa puede tener sobre la población beneficiaria y conocer si dichos efectos son atribuibles a su intervención. Este uso de metodologías rigurosas son esenciales al contraponerse -o mejor, complementarse- con estudios de casos o anécdotas específicas, que solo pueden brindar información parcial y que quizá no sean representativos de los impactos generales del programa.

Por ejemplo, gracias a la evaluación de impacto podemos afirmar con certeza que las ayudas a la contratación incluidas en la última reforma laboral han sido inútiles para reducir el desempleo, pero esta evaluación no ha sido realizada por AEVAL sino por investigadores del Banco Central Europeo (BCE). De hecho, la Agencia no ha publicado ni una sola evaluación de impacto y la única mención en sus guías es para cuestionarlo como método de evaluación. Esta posición choca con la tendencia internacional que intenta formalizar este tipo de evaluación como elemento esencial de la experimentación de políticas públicas, que tiene el objetivo de probar modalidades de programas alternativos o innovaciones de diseño que permitan un mejor uso de los recursos.

Este uso de la metodología de la evaluación de impacto para dar con la forma más eficiente en la prestación de servicios, especialmente gracias a la economía del comportamiento, está haciéndose muy popular en otros países europeos. El modelo ha permitido a Finlandia experimentar con la Renta Básica Universal, a Reino Unido diseñar programas de empleo mucho más baratos y eficaces, o a Dinamarca mejorar la recolección de impuestos por medio del uso de nuevas tecnologías.

A la espera de una nueva agencia de evaluación

Los partidos políticos españoles tienen diferentes opiniones sobre el rol que debería jugar la evaluación de políticas, pero fallan en darle la prioridad necesaria como herramienta para mejorar la eficiencia del gasto público. El acuerdo entre el PSOE y Ciudadanos de Febrero de 2016 señalaba la necesidad de reforzar la AEVAL como instrumento que ayudase a la regeneración política. Sin embargo, en el acuerdo posterior entre Ciudadanos y el PP para la investidura de Mariano Rajoy, esa exigencia se transformó radicalmente: En el punto 17 se apuesta por suprimir AEVAL y crear un instituto que, de forma “independiente, profesional y efectiva”, tenga competencias para evaluar la “eficacia y el coste” de las políticas y los programas sociales, incluyendo educación y sanidad. Es un cambio sustancial, aunque deja de lado temas como las políticas activas de empleo o de transportes, que también deberían ser evaluadas.

A principios de este año se publicaron varios artículos y editoriales reclamando la necesidad de formalizar este nuevo instituto de evaluación. Desde entonces el tema se ha estancado y no hay indicios de avance significativo, un elemento esencial si quieren que la nueva agencia sea funcional durante esta legislatura.

En el PSOE tampoco le han dado una gran prioridad entre sus reclamaciones. Durante las primarias, solo Patxi López mencionó levemente en su documento político la necesidad de “extender la auditoría de gasto y la evaluación de políticas y programas públicos para mejorar la eficacia, el impacto y la rentabilidad del gasto público”. Podemos también señalaba en su programa electoral la necesidad de crear un “Observatorio Ciudadano de Evaluación de Políticas Públicas y Rendición de Cuentas” vinculado al ciclo presupuestario, pero de forma igualmente escueta y sin especificar detalles esenciales sobre su diseño, metodología y función.

Del 5 al 9 de junio se desarrolló la Semana de la Evaluación en América Latina y el Caribe 2017, con gran apoyo de gobiernos de la región e instituciones internacionales, para presentar los últimos avances en evaluación de políticas públicas. España debería estar más atenta y dispuesta a aprender de sus colegas latinoamericanos, que nos llevan años de ventaja en esta materia: La independencia de la agencia de evaluación en México; la calidad econométrica de las evaluaciones de impacto en Colombia; la institucionalización del sistema de evaluación en Chile; o la elaboración de una Política Nacional de Evaluación en Costa Rica son elementos que deberían ser tomados en cuenta para mejorar la evaluación de políticas en España.

La creación de una institución autónoma que no tenga dependencia ministerial y que coordine todos los niveles de gobierno puede ser una buena idea, aunque no es un elemento único y esencial para el éxito de la agencia. La Autoridad Independiente de Responsabilidad Fiscal (AIREF) demuestra que es posible desarrollar entidades independientes de manera exitosa en nuestro país, pero que será un proceso complejo que creará desconfianza desde el poder político. Por ello, la sociedad civil organizada a favor de la transparencia y la rendición de cuentas deberían hacer suyo este reclamo y darle el seguimiento necesario.

La alternativa es que los ciudadanos sigamos sin herramientas suficientes que nos permitan conocer la eficiencia de políticas financiadas con nuestros impuestos, más allá de la opinión subjetiva de unos políticos que tienen intereses particulares en fomentar la percepción del triunfo o fracaso de un programa, y que derogan o proponen nuevas reformas sin suficientes criterios técnicos.

En un momento de la historia donde algunas evidencias son ampliamente cuestionadas, se necesita mejorar el proceso de obtención de datos para mejorar la toma de decisiones y disipar dudas sobre la credibilidad y legitimidad del proceso político. Sin embargo, muchos en la Administración todavía ven la evaluación como un coste y no como una inversión. Hasta que esa mentalidad no cambie, difícilmente podremos mejorar la calidad del debate sobre políticas públicas en España.

Hugo Cuello. Especialista en evaluación de políticas públicas y M & E de programas y proyectos, con experiencia el sector público, privado y académico en varios países.

Fuente: http://agendapublica.elperiodico.com/quien-mide-impacto-las-politicas-publicas-espana/