Lecciones para el SIMCE desde Uruguay

Fuente: http://www.buenosaires.iipe.unesco.org/

Una reciente publicación (descargable en formato PDF) de IIPE UNESCO Buenos Aires, titulada "Mejorar los resultados de aprendizaje en la educación obligatoria: políticas y actores" (IIPE UNESCO, 2015) incluye un valioso e interesante artículo de Pedro Ravela, quien se desempeñó como Director Ejecutivo del INEEd (Instituto Nacional de Evaluación Educativa de Uruguay). El trabajo de Ravela se titula "El uso de los resultados de la evaluaciones en la mejora de los procesos de enseñanza" y, luego de exponer tendencias sobre cómo se comprenden los sistemas de evaluación de aprendizaje en Latinoamérica, aporta interesantes reflexiones que bien pueden ser consideradas lecciones para el perfeccionamiento del SIMCE (y/o argumentos para un "Alto al SIMCE"). 

Hago ahora una síntesis del artículo de Ravela, extrayendo afirmaciones y/o fragmentos del mismo:

Ravela arranca afirmando que "lo primero que debemos evitar en materia de evaluaciones educativas es la ingenuidad declarativa: creer que la evaluación por sí misma puede producir transformaciones en la educación o en los aprendizajes, solo porque enunciamos que la evaluación se hace para mejorar y no para castigar" (p.70)

Luego expone lo que denomina "lógicas de cambio" con las que operan los sistemas de evaluacion estandarizadas en América Latina. Estas lógicas son: 

1. La lógica del mercado educativo:"De acuerdo con esta visión, la evaluación de aprendizajes a gran escala contribuye a la mejora ofreciendo información a las familias para que elijan la mejor escuela para sus hijos. Esta visión marcó los orígenes del Sistema de Medición de la Calidad Educativa (SIMCE) en Chile, creado en las postrimerías de la dictadura militar." (p.70)
2. La lógica de los incentivos económicos directos: "De acuerdo con esta segunda visión, una manera de mejorar los aprendizajes es premiar económicamente, a través de incentivos salariales, a los docentes cuyos estudiantes obtienen mejores resultados en las evaluaciones estandarizadas. El ejemplo paradigmático de este enfoque en la región son las pruebas ENLACE (Evaluación Nacional de Logro Académico en Centros Escolares) que se han venido aplicando en México desde el año 2006" (p.73). 
3. La lógica de la presión social sobre las escuelas: "Una versión atenuada de la lógica del mercado puede ser denominada como de presión social sobre las escuelas. En este caso no se apuesta a fomentar la competencia entre las escuelas, sino a entregar información pública con el fin de generar compromiso, preocupación y demanda de mejora de la educación por parte de la sociedad en general y de las familias de los estudiantes, en particular. Al igual que en el caso anterior, la estrategia principal consiste en realizar evaluaciones anuales de carácter censal y difusión pública de los resultados de cada escuela, a través de diversos medios (Internet, prensa, informes a las familias y a las escuelas). El caso paradigmático en la región es la denominada “Prova Brasil”. Esta prueba es una iniciativa del gobierno de Luiz Inácio Lula da Silva que reemplazó las pruebas muestrales con fines de diagnóstico, denominadas SAEB, las que se realizaban desde el Instituto Nacional de Estudios y Pesquisas (INEP) desde comienzos de los noventa. Ante la constatación de que estas no generaban mayor inquietud o movimiento en el sistema educativo, el gobierno se propuso evaluar a todas las escuelas y estudiantes, todos los años y dar a conocer los resultados de cada escuela. Simultáneamente, se creó el denominado Índice de Desenvolvimiento de la Educación Básica (IDEB), que combina los resultados de estas pruebas con la tasa de egreso en el tiempo esperado de los estudiantes de cada escuela. El IDEB se expresa en una escala de 1 a 10. Cada escuela recibe su valor en el índice, junto con los valores de escuelas similares y sus valores en años anteriores, con el fin de evaluar el progreso y establecer un conjunto de metas a alcanzar en dicho índice en los años siguientes." (pp.74-75). 
4. La lógica del desarrollo profesional: "Varios países de la región han optado por un uso más “amigable” de los resultados de las evaluaciones estandarizadas, evitando la difusión pública de los mismos y concentrando los esfuerzos en la entrega de la información de un modo reservado a cada escuela, con el fin de que sea utilizada por los docentes para identificar saberes y capacidades más y menos logrados por los estudiantes, analizar sus dificultades y desarrollar nuevas formas de enseñanza. El hecho de no hacer públicos los resultados de cada escuela hace que la evaluación sea menos amenazante, lo cual debería facilitar su uso por parte de los docentes.[...] Uno de los casos paradigmáticos de este enfoque en la región ha sido Uruguay, que adoptó esta estrategia, con diversas mo-dalidades, desde mediados de los noventa. Inicialmente realizó evaluaciones de tipo censal con devolución de resultados a cada centro educativo, sin divulgación pública de los mismos (solo se divulgaron los resultados generales y por departamento, pero no por centro educativo). Una segunda modalidad fue la de evaluaciones de carácter muestral con distribución de las pruebas a todas las escuelas, con el fin de que cada una pudiese administrarlas en forma autónoma, corregirlas, obtener sus resultados y compararlos con los resultados nacionales y los de escuelas de similar contexto sociocultural. En los últimos años, a partir de que cada estudiante tiene una laptop propia, se desarrolló el sistema de evaluación en línea. Este sistema permite que, dentro de una ventana de tiempo definida centralmente (de varias semanas), cada maestro pueda decidir en qué momento aplicar las pruebas a sus estudiantes, conectándose a una plataforma web. Los estudiantes leen la prueba y la responden en sus computadoras. Al finalizar la sesión y en tiempo real, el docente puede ver en su pantalla los resultados de sus estudiantes, en forma individual y grupal, pregunta por pregunta, por bloques temáticos y para el conjunto de la prueba. [...]La lógica detrás de esta estrategia es que la mejora de los aprendizajes depende principalmente de un cambio en las formas de enseñar de los docentes; y el mejor modo de lograrlo es apostando a la discusión colectiva y al desarrollo profesional de los docentes, a través del análisis de los resultados de los estudiantes y de las pro-pias prácticas de enseñanza" (pp.76-77). 
5. La lógica tecno-céntrica: "Las lógicas anteriores tienen la pretensión de lograr ciertos cambios o mejoras en forma más o menos directa, a partir de la entrega y el uso de los resultados de las pruebas estandarizadas. Muchos investigadores vinculados a este tipo de evaluaciones sostienen, además, la visión de que las evaluaciones a gran escala pueden realizar aportes relevantes para la toma de decisiones de política educativa. Para ello se debe incluir, además de las pruebas de aprendizaje, una bue-na batería de cuestionarios complementarios, que permitan relevar información sobre otro tipo de fenómenos y variables. De acuerdo con esta visión, una buena medición de tres grandes grupos de variables –aprendizajes, factores sociales o de contexto (que están por fuera del ámbito de incidencia del sistema educativo) y factores “escolares” (aquellos aspectos como la formación de los docentes, la dotación de recursos o el clima institucional, que sí pueden ser modificados por decisiones de política educativa)–, permitiría identificar cuáles de estos últimos tienen mayor incidencia sobre los resultados una vez que se controla el efecto del contexto. De acuerdo con este razonamiento, por este camino las evaluaciones estandarizadas pueden aportar pistas para la toma de decisiones de política educativa, orientadas a generar condiciones y procesos que mejoren los resultados" (p.78). 
6. La lógica de la información estadística: "Finalmente, una lógica más modesta en sus propósitos es la que enfatiza la importancia de ofrecer información continua y sistemática sobre logros educativos, con el fin de poner el tema en la agenda pública y, de ese modo, generar cierto grado de atención por parte de las autoridades y la ciudadanía. Desde esta perspectiva, el rol de una unidad de evaluación educativa es similar al de los institutos nacionales de estadísticas y censos, que publican en forma periódica y sistemática información sobre indicadores clave de la marcha de la economía y la sociedad: tasas de empleo y desempleo, índice de precios, tasas de pobreza e indigencia, crecimiento del producto bruto interno, entre otras. Estos institutos no tienen pretensiones de provocar en forma directa cambios en la economía o en la sociedad, sino simplemente ofrecer un marco de información sobre la situación. Este marco resulta relevante para el debate ciudadano y político, así como para la toma de decisiones por parte de los agentes económicos." (p.79).

Luego de exponer estas lógicas, Ravela realiza este balance (pp.80-81) (en adelante, las negritas en los textos son mías) :

1. "Los caminos seguidos hasta el momento han resultado excesivamente simples con relación a las complejidades del sistema y del quehacer educativos. Hemos sido excesivamente optimistas –¿ingenuos?– con respecto al poder de la evaluación para producir cambios, en cierta medida porque es una acción relativamente más fácil de implementar que otras acciones de política educativa. Necesitamos pensar de manera más compleja el cambio educativo y el rol de la evaluación en el mismo."
2. "Hemos pensado en la evaluación en forma excesivamente autocontenida, no como parte de un conjunto más amplio de acciones y elementos de la política educativa. Por ejemplo, hemos pensado en la evaluación docente en forma independiente de los cambios en las condiciones de trabajo y la estructura de la carrera docente. Hemos pensado la evaluación de aprendizajes a gran escala en forma independiente de las evaluaciones de aprendizajes que ocurren diariamente en las aulas y, en muchos casos, de los cambios curriculares. Necesitamos pensar la evaluación como parte de y articulada con un conjunto de acciones propias de la política educativa (curriculares, de gestión, de selección de personal, de organización del trabajo docente, entre otras)."
3. "Una de las tentaciones o desviaciones que han tenido muchos gobiernos ha sido la de transformar la evaluación en la política educativa, en la herramienta principal de cambio. Expresiones como “¿por qué si evaluamos tanto no hay cambios?” o “¿para qué evaluar si los resultados no cambian?” son indicadores de esta situación. Muchos actores políticos parecen creer que la evaluación es la que producirá los cambios. O, en otras palabras, que evaluar es la principal política educativa. Esta desviación está implícita en la pretensión de que las familias reemplacen al Estado como instancia de control de las escuelas, en la culpabilización de los docentes por los malos resultados o en el intento de que el uso “formativo” de las evaluaciones estandarizadas reemplace los esfuerzos de actualización didáctica y de orientación del trabajo docente que deben realizar los supervisores u otros agentes. Necesitamos una evaluación que no reemplace las políticas educativas sino que las confronte, en el sentido de que también las políticas educativas sean objeto de evaluación. Y que, al mismo tiempo, esté al servicio de las mismas, en el sentido de sugerir rumbos y promover políticas más apropiadas. La evaluación debe contribuir a restituir el lugar y la responsabilidad de la política educativa y no debe aceptar sustituirla."
4. "Cuando hoy hablamos de evaluación de la educación en nuestra región, tendemos a pensar naturalmente en pruebas estandarizadas y en sus resultados. Dejamos de lado el amplio espectro de políticas y prácticas de evaluación que forman parte de la vida cotidiana de los sistemas educativos: la evaluación del trabajo docente, la evaluación de los aprendizajes de los estudiantes que realizan los docentes, los exámenes y sistemas de promoción de grado, los procesos de selección de directivos y supervisores y las evaluaciones –sistemáticas o implícitas– asociadas a las decisiones de con-tinuidad o cambio en la amplia gama de proyectos y pro-gramas educativos, por mencionar algunos. Necesitamos conocer y pensar hacia adelante el conjunto de prácticas de evaluación que tienen lugar cotidianamente en el sistema educativo y sus efectos sobre la calidad de la educación."

El cierre del artículo de Pedro Ravela son siete desafíos para la evaluación educativa: 

• Expandir el concepto y la agenda de la evaluación educativa, esto es, como actividad de valoración de una situación, "a partir de información empírica, con el fin de adoptar las mejores decisiones posibles, dentro de las limitaciones de nuestro conocimiento de la realidad (que por definición es inabarcable) y de ciertas opciones de valor" (p.82).

• Tomar el riesgo de realizar valoraciones de la situación educativa global:  "Además de ampliar la agenda temática de la evaluación educativa, es necesario asumir con mayor determinación el carácter esencialmente valorativo de la actividad de evaluación. Toda evaluación implica tomar ciertas decisiones basadas en opciones de valor, tanto para la selección de los temas a abordar como en la elaboración de conclusiones y recomendaciones" (p.86). 

• Desarrollar el campo de la evaluación de la implementación y el impacto de programas educativos: "La generación de cambios a través de programas y proyectos no es buena ni mala en sí misma. Tiene como ventajas principales la posibilidad de enfocarse en la resolución de problemáticas específicas, la posibilidad de minimizar las trabas burocráticas para la administración de los recursos, la posibilidad de conformar equipos nuevos evitando crear cargos públicos permanentes y, en términos generales, una mayor flexibilidad en la gestión. Al mismo tiempo y como contracara tiene riesgos importantes. El primero es que no se logre producir los impactos prometidos, pero los programas se mantengan funcionando a pesar de ello, en contradicción con su propia naturaleza “a término”. Muchas veces se vuelven un fin en sí mismo, más allá de sus logros específicos. Un segundo riesgo importante es que sí logren ciertos efectos, pero se mantenga sin cambios la organización educativa principal que continúa generando los problemas que el programa busca resolver." (pp.90-91).

• Ampliar la noción de los “aprendizajes” o “resultados educativos” que deben ser evaluados, desde la perspectiva del derecho a la educación: "A lo largo de estas dos décadas hemos avanzado bastante –aunque no lo suficiente– en el diseño de instrumentos de medición de saberes en ciertas áreas, principalmente matemática, lectura y ciencias naturales. Hemos avanzado también en materia de metodologías de análisis de datos. La participación en estudios internacionales como PISA ha contribuido sustantivamente a mejorar las capacidades técnicas en la región. [...] Simultáneamente, durante todos estos años se ha señalado en forma permanente la necesidad de evaluar otras áreas de conocimiento, otro tipo de capacidades y otro tipo de finalidades formativas: la formación ciudadana, la formación en valores, las habilidades vinculadas a las disciplinas expresivas y artísticas, el desarrollo personal y las habilidades sociales. Estas ausencias han sido marcadas, por un lado, por quienes se oponen a las evaluaciones existentes, bajo el argumento de que estas no abarcan la totalidad de las finalidades educativas relevantes. Y han sido asumidas como tales por quienes sostienen las evaluaciones que tenemos actualmente. A pesar de ello, hemos avanzado poco en este terreno." (p.94).

• Establecer una concepción de la rendición de cuentas pública desde la perspectiva de responsabilidad compartida: "Uno de los principales motivos por los que buena parte de los educadores se resiste a las evaluaciones externas radica en que sus resultados muchas veces son utilizados, en forma deliberada o no, para responsabilizarlos por los problemas de la educación. En algunos casos hay una intención explícita de hacerlo, en tanto en otros el discurso construido por los medios de comunicación termina “derivando” hacia ese lugar. [...] La evaluación educativa debería contribuir a construir una visión sobre la rendición de cuentas pública acerca de la educación, desde una perspectiva de responsabilidad compartida, que incluya no solo a los docentes y a las instituciones educativas, sino también al sistema político, a las autoridades educativas, a la sociedad y sus organizaciones, a los estudiantes y a sus familias, y a los medios de comunicación. Los logros educativos son resultado de una compleja trama en la que múltiples actores tienen influencia relevante. Para ello, los “resultados” de la evaluación de la educación deberían incluir miradas, evidencias y valoraciones sobre la acción de los diversos actores. Por supuesto, sobre la labor de enseñanza que llevan adelante los profesores. Pero, también, sobre el tiempo que los estudiantes destinan a estudiar, sobre los apoyos familiares a la labor escolar, sobre el valor de la educación que se transmite desde las familias y medios de comunicación, así como sobre las virtudes y defectos de las políticas educativas, por mencionar algunos. [...] Esta mirada “integral” de la rendición de cuentas es esencial para evitar que el Estado –y la política educativa– se desligue de su responsabilidad por los resultados educativos, transfiriéndolos a los docentes." (pp.99-101)

• Construir una combinación equilibrada de pruebas de evaluación “formativas” y con consecuencias “fuertes”: "Un problema frecuente de los sistemas de evaluación estandarizada de la región a lo largo de estas dos décadas, ha consistido en utilizar una misma evaluación para diversidad de propósitos y finalidades. Un único dispositivo de medición ha sido empleado, por ejemplo, para dar seguimiento a la evolución de los logros educativos de los estudiantes a lo largo del tiempo, para establecer incentivos para las escuelas y para aportar elementos para el análisis de las prácticas de enseñanza por parte de los docentes. Especialmente preocupante es la superposición de finalidades formativas y consecuencias fuertes en un mismo dispositivo de evaluación. Un primer principio básico del diseño de las evaluaciones es que este depende fuertemente de los propósitos de la evaluación. El tipo de consecuencias que tendrá la evaluación, el tipo de preguntas que pretende responder y el tipo de uso que quiera darse a los resultados, determinan fuertemente varios aspectos del diseño (Ravela, P., 2006; Ravela, P., y otros, 2008). Un segundo principio básico, derivado del anterior, es que un mismo dispositivo de evaluación no puede, al mismo tiempo, cumplir con finalidades de tipo formativo y tener consecuencias “fuertes” para los evaluados (Ravela, P., 2006). Siempre que ambas finalidades están presentes en un mismo acto de evaluación, las consecuencias fuertes predominan por sobre la finalidad formativa y la desvirtúan. [...] Por estas razones, cuando un sistema de evaluación como el SIMCE de Chile, que tiene una fuerte tradición de publicación de los resultados de cada escuela en la prensa –y de construcción de rankings por parte de los medios–, intenta que sus resultados sean utilizados con fines de aprendizaje por parte de los docentes, encuentra serias dificultades" (pp.102-103).