Evaluación como herramienta de gestión

Este artículo también está disponible en: Inglés

Ariel Fiszbein entrevista a Silvia Montoya, la nueva Directora del Instituto de Estadísticas de la UNESCO acerca de su experiencia como Directora a cargo del área de evaluación en el Ministerio de Educación de la Ciudad Autónoma de Buenos Aires, las lecciones aprendidas sobre evaluación de aprendizajes y sistemas de estadísticas educativas y sus expectativas en su nuevo trabajo.

AF: ¿Cuáles fueron las iniciativas más importantes que impulsaste para mejorar la calidad de la educación durante tu período en el Ministerio de Educación?

SM: Se pueden dividir en tres frentes. El primero fue trabajar en los procesos de recolección de información mejorando la tecnología, sistematizando las consistencias y acortando los períodos para reportar la información. Para eso, una de las acciones fue la generación de un sistema online de carga de matrícula. Este software no solo permite agilizar los procesos sino que además cuenta con un sistema de validación automático. Esto mejora la calidad de la información y permite a los equipos directivos corregir la información a medida que se produce la carga, y al tener la declaración jurada emitida al finalizar, pueden chequear los datos finales.

El segundo punto fue definir una agenda integral de evaluación que contemplara las distintas dimensiones que hacen a una educación de calidad. Esto implicó la incorporación de la Ciudad en pruebas internacionales en las que incluso el gobierno federal no participaba. Así se elevó el tamaño muestral de PISA de manera de tener representatividad como jurisdicción individual y se tomó la coordinación nacional de Valores Cívicos y Ciudadanos (ICCS), alfabetización digital (ICILS), ciencia y matemáticas (TIMSS), comprensión lectora (PIRLS),  habilidades sociales y emocionales (ESP) competencias de adultos (LAMP/UNESCO y PIAAC/OECD), entre otros estudios. Esto tuvo dos beneficios: por un lado, la interacción con las organizaciones más prestigiosas de evaluación de la calidad como IEA, OCDE, ACER fortaleció al equipo y lo obligó a trabajar con estándares internacionales de calidad que se contagiaron a otros procesos, como las evaluaciones locales. Además, le dio visibilidad a las acciones de evaluación de la Ciudad.

La tercera iniciativa fue la diseminación de la información definiendo un sistema de indicadores educativos y también una política de devolución de información específica para cada uno de los interesados en el quehacer educativo. Así al inicio de mi gestión, el flujo de información era de las escuelas hacia el Ministerio. El Ministerio elaboraba documentos con información en grandes agregados generalmente en forma de Anuarios Estadísticos. Con mi equipo elaboramos boletines por escuela. Esto rompió con el malentendido que lo prescripto por la Ley Nacional de Educación en su artículo 97 también implicaba no devolver la información a los interesados. Por primera vez todo supervisor escolar y cada director pudieron  contar con los indicadores de las escuelas bajo su responsabilidad. Primero esto fue en papel. Luego desarrollamos un sistema vía web. En Argentina no se pueden publicar datos por escuela. Sin embargo, desarrollamos un sitio en el que los padres pueden acceder a información agregada (por comuna, por barrio) y también solicitar, bajo el encuadre legal, ciertos datos de escuelas. Se publicó además un sistema de indicadores a nivel de comuna, de distrito y de ciudad que permite conocer datos del sistema educativo pero también económicos, sociales y de inversión.

AF: En tu experiencia, ¿cuáles son las barreras principales que enfrentan los gobiernos para establecer sistemas sólidos de evaluación educativa?

SM: Un primer punto clave es la decisión política firme y sostenida de hacer a la evaluación y al acceso a indicadores una parte vital del proceso educativo.

Creo que el sistema estadístico argentino ya ha dado un paso adelante gigante al reconocer que la evaluación es un insumo clave para la mejora de la educación.  Sin embargo, no ha sido tan bueno para ver cómo se construye ese camino. En este punto, creo que es clave establecer canales de diálogo entre las áreas de evaluación de la calidad de los Ministerios y los supervisores, directores y docentes para que todos los actores involucrados cuenten con la información adecuada. Por ejemplo, cuando asumí mis funciones había mucho temor en el sistema educativo de que publicáramos ranking de escuelas o incluso que los docentes perdieran su puesto de trabajo por la encuesta sobre la práctica pedagógica. Generamos un ámbito de confianza y en ningún caso estos resultados fueron públicos a nivel individual.

Otro desafío es la independencia de los órganos de evaluación. Brasil, Chile, Colombia, Ecuador, Perú y Uruguay son algunos ejemplos en la región que cuentan con sus institutos de evaluación. En Agosto de 2013 la Ciudad de Buenos Aires se sumó a esta lista. Por supuesto, hay diferencias entre ellos. Lo que quiero marcar es que se ha buscado institucionalizar la evaluación y separarla del poder político de turno para ganar independencia y objetividad. En lo personal me ha tocado caminar ese proceso en Argentina y por esas cosas de la vida soy la única profesional con la inmensa fortuna de haber participado y elevado el proyecto de creación del Instituto para el Desarrollo de la Calidad Educativa (IDECE) en el gobierno federal en 2001 como órgano desconcentrado para luego, más de una década después, haber elevado y conseguido la aprobación de la Unidad de Evaluación Integral de la Calidad Educativa (UEICEE) en la Ciudad de Buenos Aires, esta vez como ente autárquico dentro del ámbito del ministerio. Creo firmemente en la independencia y  el profesionalismo técnico de las instancias de evaluación.

AF: ¿Crees que es posible generar interés en la información de resultados educativos por parte de los padres y la ciudadanía en general?

SM: Creo que el interés está. ¿A qué padre no le interesa cómo le va a su hijo en la escuela? ¿Qué padre no quiere saber si la escuela a la que va su hijo obtiene buenos resultados? Lo que hay que generar, por un lado, son mecanismos que permitan a los padres y a la ciudadanía acceder a la información de resultados, desprovisto de la jerga de experto, y acompañando con soluciones y alternativas de acción concretas para cada uno en su rol.

Además, me parece clave acercar las áreas de medición de la calidad y estadísticas a la sociedad en general. En la Ciudad de Buenos Aires, desarrollamos talleres para funcionarios. Un paso más sería generar talleres para los padres. Comprender los indicadores, entender por qué las evaluaciones a gran escala difieren de las evaluaciones en  el aula, por ejemplo. Aprender a leer indicadores y estadísticas sirve para no banalizar la cuestión. No se trata de la tabla de posiciones de un mundial de fútbol, sino de nuestros hijos y las próximas generaciones de un país.

Y PISA, quizás la evaluación más nombrada, no tiene que ser utilizada en discursos políticos como el único síntoma del problema educativo y tampoco como un demonio. Tienen que ser usado como un síntoma de una realidad que sabemos compleja y frustrante pero que tiene que plantearnos que estamos marginando a nuestros hijos y nietos de una vida mejor si no reaccionamos.

Es más, los resultados de PISA evidencian un fracaso de la sociedad y no lo enfrentamos así. Al ser una prueba que no se basa en el diseño curricular, sino que mide lo que los chicos de 15 años en el sistema educativo han aprendido en todos los ámbitos que se mueven. Si nos preocupa por ejemplo el resultado de Argentina o de Ciudad de Buenos Aires no es culpa de uno u otro gobierno sino los “laureles que supimos conseguir” como dice el himno argentino entre todos. Es la calidad de la educación que reciben en nuestras casas, las de los medios de comunicación, de nuestras escuelas y de los espacios de interacción social, clubes, cines, etc.

AF: Hay un creciente reconocimiento de la importancia de las habilidades socio-emocionales como factores que influyen no solo los resultados educativos sino también el éxito en vida laboral. ¿Crees que los gobiernos deban comenzar a medir esas habilidades de manera regular?

SM: Sin dudas, muchas investigaciones demuestran que la perseverancia, la sociabilidad y la autoestima tienen  influencia sobre una mejor salud, un mejor bienestar subjetivo y  que estás habilidades son importantes dentro y fuera de la escuela. Lo más importante desde el punto de vista del sistema estadístico es que son maleables a lo largo de la vida de las personas, especialmente durante la niñez y la adolescencia.

Esto es un dato extraordinario para el hacedor de política, para equipos directivos, docentes, y padres  que saben que pueden generar entornos que favorezcan el fomento de las habilidades “positivas”. Y es allí donde ingresa la medición dado que todos sabemos que importan pero no sabemos cuáles, cómo y cuánto. En definitiva qué hacer y qué no, dar elementos para decidir y apoyarse en los aspectos positivos y minimizar lo que no sirve.

En este sentido, desde la Ciudad de Buenos Aires nos incorporamos al estudio longitudinal de habilidades para el progreso social que realiza el Centro para la Investigación e Innovación en Educación de la Organización para la Co-operación y el Desarrollo Económico. El objetivo es medir habilidades no cognitivas en una muestra de estudiantes y luego “seguirla” a lo largo de los años para poder contrastar esta información con condiciones socioeconómicas, resultados académicos e inserción laboral.

AF: ¿Cuáles serán tus prioridades estratégicas en tu nueva gestión en UIS?  

SM: Me toca asumir en una etapa clave para la discusión internacional, que es el relativo a la agenda de desarrollo post-2015, sus objetivos  y cuáles indicadores son los más relevantes para el monitoreo del cumplimiento de las metas que se fijen. Cómo fijar metas realistas y cómo medirlas logrando además tener información constituirá un desafío muy significativo. El UIS tiene tres activos gigantes gracias al esfuerzo de un grupo de profesionales de gran calidad y a los liderazgos notables de sus anteriores directores, Denise Lievesley y Hendrik van der Pol. Estos tres activos son la independencia, la transparencia y la calidad del trabajo técnico. Eso sin dudas, simplifica mi tarea.

Las prioridades van a ser tres. Por un lado, es clave fortalecer la presencia del UIS en áreas en las que quizás hasta ahora no ha habido tanto involucramiento a pesar de haber sido reconocidas como prioridades en los últimos años, tal como las métricas de aprendizajes en áreas y etapas claves en la vida de las personas como la educación preescolar.

Una segunda línea es la construcción de capacidad no sólo a nivel de los ministerios centrales sino de los actores sociales para entender los datos y que la información se transforme en útil para accionar política al nivel que cada uno puede y que son los que transforman la realidad de nuestros niños. Los sistemas de recolección de datos (salvo en algunas regiones con alguna dificultad mayor) han logrado en legitimidad y aceptación entre las escuelas pero no han sido tan eficientes en acercar la información para la mejora en el aula y en la escuela.  Esto implica esfuerzos de descentralización enormes en construir capacidad para entender cómo cargar, interpretar y utilizar el dato.

Relacionado con la difusión, otra prioridad va a ser trabajar sobre la simplificación en el número y cantidad de indicadores, el mejoramiento de la relevancia de estos, para que respondan con más precisión a las preguntas que hoy en día nos estamos formulando, y en la visualización de los datos. La gran deuda es trabajar en la legitimidad en la implementación de la política a través de la transparencia en el uso y difusión de la información de manera de favorecer la voz, participación y el control social, y establecer prácticas de uso de información y evaluación coherentes y complementarias con la mejora en la calidad con equidad.

AF: ¿Qué lecciones de tu experiencia en la CABA crees que te serán de mayor utilidad en tu nuevo puesto?

SM: Es una pregunta excelente. Si bien la escala fue mucho menor creo que un primer punto importante es hacer más amigable los procesos de recolección y difusión de información. Quienes cargan los datos y nos reportan información son equipos directivos, docentes y supervisores cuya responsabilidad es la gestión pedagógica, o lo que es lo mismo, que nuestro hijos aprendan más y mejor.  Nuestro papel es ayudar con datos y seguimiento de procesos para que puedan hacer mejor su trabajo. Somos un servicio al que tienen la responsabilidad y el enorme poder de transformar, a los santos de Julio Cortázar en ese discurso a los egresados de la  Escuela Normal de Chivilcoy en 1939.

No podemos transformar al sistema estadístico y de medición en un monstruo con vida propia. Sólo tiene sentido si sirve para la mejora. La recolección y uso de los datos debe ser un hábito y no una fuente de pesar, una molestia. Los datos y la información son vitales para que las escuelas trabajen su día a día. Es facilitarle información a un experto que extrae datos para hacer un análisis que deriva en detectar dónde hay problemas y trazar acciones. Nada diferente de sacar sangre o hacerse un electrocardiograma. Por ello es vital hacerlo lo menos molesto y compartir con el “paciente” el diagnóstico y facilitar las herramientas para que la próxima vez esos resultados estén mejor.

La ciudad de Buenos Aires ha hecho avances significativos en cuanto a informatización de la recolección de información y con programas amigables. La difusión diferenciada para distintos tipo de actores es otro punto importante que nos demostró que cuando los actores involucrados entienden el sentido de la información, el para qué y cómo se conecta con sus realidades (es decir cuando se construye capacidad), y los datos dejan de ser el  dominio de expertos para ser de todos, entonces la calidad y la utilidad de la información aumenta.

La experiencia ha sido muy enriquecedora dado que antes había trabajado dos años a nivel del gobierno federal, que coordina la recolección de datos. Ahora se dio la oportunidad de estar en contacto directo con escuelas y con el sistema que es bien diferente. La tarea en el UIS me devuelve a otro rol más supranacional, habiendo estado en casi todas las etapas del ciclo de vida de los datos y en todos los niveles de gobierno. Agradezco enormemente el haber tenido todas esas instancias.