lunes, 7 de octubre de 2013

SIMCE: función, uso y abuso

Fuente: http://1.bp.blogspot.com/
Desde hace un par de semanas, se discute en Chile sobre el SIMCE y su actual situación. El debate ha tenido varios actores, pero sin duda uno de sus referentes ha sido la reciente Premio Nacional de Educación, Beatrice Ávalos, quien envió una carta pública a diversos medios, en conjunto con otros académicos. Otros actores han sido el presidente de Educación 2020 y, del lado del gobierno, varios asesores y técnicos tanto del MINEDUC como de la Agencia de Calidad. Hay también un sitio web llamado "Alto al SIMCE" donde se exponen los argumentos para demandar su revisión. 

El fondo del asunto es doble. Por un lado, la estandarización y medición continua que ella exige y fomenta; por el otro, el papel que se le asigna al SIMCE en un sistema escolar diseñado como un cuasimercado. Si se mira el sitio web respectivo, no cabe duda que ambos focos de debate son evidentes.

En efecto, el SIMCE es el instrumento evaluativo por antonomasia de la educación chilena; actúa como un regulador de la acción escolar y, de acuerdo con sus críticos, su conversión en rankings que son profusamente difundidos en la prensa, ha exarcebado la competencia entre escuelas, ha desvirtuado el sentido de la acción pedagógica y lo ha convertido en un catalizador de la segregación educativa, alentando prácticas de marginación de estudiantes cuyo desempeño puede afectar los puntajes que la escuela alcanza en las pruebas estandarizadas. 

Otro frente de la crítica al SIMCE es  su capacidad para dar cuenta de los aprendizajes que alcanzan los estudiantes. Así lo ha planteado Cristián Belleï (CIAE) desde hace más de 1 año, alertando sobre la inconsistencia entre los resultados promedio del SIMCE en Lenguaje 2 EM (Segundo Medio) y los que muestra PISA, evaluación según la cual Chile ha progresado notablemente en la última década. El SIMCE, en cambio, muestra resultados estancados.

A su turno, los defensores de la mantención del SIMCE señalan que es un instrumento necesario para conocer cuánto aprenden los estudiantes. Esta información es exigida por la Ley General de Educación (LGE) y la Agencia de Calidad tiene la obligación de proveerla. Las familias, se agrega, la requieren para tomar decisiones respecto de la educación de sus hijos y, además, se necesita el SIMCE para clasificar a la escuelas, tal como lo manda la LGE. El MINEDUC, a su vez, durante este gobierno, ha acentuado las mediciones y, casi siempre por razones comunicacionales, ha denominado "SIMCE" a toda evaluación que se ha hecho a estudiantes en el sistema escolar. Así, ha habido "SIMCE de Educación Física", "SIMCE de Tecnología", "SIMCE de Inglés", etc. Como si esto fuera poco, se ha aumentado la frecuencia y se ha incluido nuevos niveles escolares cuyos estudiantes son anualmente sometidos al SIMCE respectivo (véase la figura siguiente con el calendario de evaluaciones que la Agencia de Calidad informa en su web).

Fuente: http://www.agenciaeducacion.cl

La imagen es elocuente y denota la evidente hipertrofia del SIMCE como instrumento de política. Vale la pena entonces analizar qué cambios se requieren y cuáles no. Para ello, una manera de ordenar la discusión es distinguir entre uso y función del SIMCE, para luego dar cuenta de los abusos en torno del mismo. 

  1. La función original del SIMCE ha sido siempre proveer información sobre los avances del país en términos de resultados de aprendizaje para orientar las decisiones de política educativa. Asi fue desde 1988, año en que oficialmente se hizo el primer operativo de evaluación en los 4tos. Básicos. En dicho año, el SIMCE fue aplicado censalmente y sus resultados sirvieron para delimitar la acción gubernamental en las 900 escuelas de más bajos resultados. Es por esta razón que el P-900 (Programa de las 900 escuelas) y luego el Programa de Escuelas Rurales (MECE Rural) fueron llamados "programas focalizados", esto es, iniciativas que aprovecharon los resultados SIMCE para acotar su alcance y definir a quiénes apoyar y acompañar en sus procesos de mejora.Como este uso del SIMCE no requería divulgación, los resultados no se daban a conocer sino de manera confidencial a las escuelas.
  2. Consistentemente, el SIMCE, en buena parte de la década de 1990, fue considerado un estimador de los avances de la Reforma educacional y actuaba también como una medida de los progresos que alcanzaban las escuelas y liceos apoyados por el MINEDUC, puesto que éste modificaba su cobertura e intervención conforme se conocían los avances en aprendizajes que el SIMCE señalaba para cada establecimiento. Si los resultados no evidenciaban progresos, las iniciativas y los programas de apoyo de la Reforma no estaban dando resultados. Así se leían.
  3. Sin embargo, en 1994 se toma una decisión que el paso de los años lleva a considerar errada y que consistió en divulgar y publicar abiertamente los resultados SIMCE para guiar a sus actores locales (sostenedores, escuelas y familias). Como el SIMCE se ha aplicado censalmente,  era posible informar el desempeño de cada establecimiento y también de cada sostenedor. La prensa hizo lo suyo y rápidamente se consolidó la práctica de construir rankings de escuelas sobre la base de sus resultados SIMCE. Esta misma orientación fue profundizada en 2003, cuando el MINEDUC de la época alentó la difusión del SIMCE y generó mayor presión sobre las escuelas y liceos.
  4. Por lo tanto, en 10 años se consolidó un uso alternativo del SIMCE que fue informar a la sociedad -y sobre todo a las familias- de los resultados de aprendizaje logrados en cada establecimiento, para que de esta forma se presionara a los equipos docentes y directivos a responder por dichos resultados. Las familias, conocidos los resultados, podrían también tomar una decisión de premio o castigo a los establecimientos y sus sostenedores. 
  5. En paralelo, el gobierno intentó complementar esta información entregando datos comparados sobre dependencia del establecimiento y nivel socio-económico de los estudiantes, lo cual debería haber llevado a una comparación más ponderada, donde efectivamente se comparara lo comparable y no se trabajara sobre promedios gruesos que poco dicen sobre la efectividad de una escuela o liceo. Esto es indispensable para una lectura mínimamente responsable del SIMCE: es bien sabido que sus resultados se relacionan directamente con el nivel socioeconómico de los estudiantes y sus familias, lo que significa que buena parte de las diferencias de puntajes SIMCE se relacionan con factores extra-escuela y que, por lo mismo, poco se puede decir de la efectividad de un establecimiento (es decir, de su valor agregado). 
  6. Agravando esta desviación comunicacional, el MINEDUC no dijo oportunamente que el promedio SIMCE (esto es, los 250 puntos en determinada prueba) no significa haber alcanzado un nivel satisfactorio de logro, sino un dominio apenas suficiente de los rudimentos de un determinado contenido. Los 300 puntos son el promedio que sugiere un manejo aceptable de los contenidos evaluados. En realidad, como bien dice Mario Waissbluth en su reciente libro "Cambio de Rumbo" (2013), "el SIMCE no es necesariamente un indicador de calidad, pero sí de enfermedad, al igual que un termómetro".
  7. El MINEDUC olvidó decir también que los resultados SIMCE son un "proxy" de los logros de aprendizaje en determinado nivel escolar puesto que, en rigor, ningún estudiante es evaluado en todo el curriculum enseñado (de hecho, las pruebas SIMCE tienen 3 formas diferentes que se aplican al mismo curso y que solo en conjunto entregan una estimación de los aprendizajes de dicho grupo de estudiantes) ¿Por qué de esta manera? Porque el curriculum nacional es tan extenso que una prueba que pretendiera abarcarlo todo sería inaplicable desde un punto de vista técnico-pedagógico.
  8. Pese a estas limitaciones conocidas por muchos y pese a los esfuerzos del MINEDUC por informar a los informadores (la prensa), el daño estaba hecho y se había instalado la idea de distintas "calidades" de la educación asociadas al carácter estatal o no estatal del establecimiento.
  9. En resumen, hoy se entiende que las funciones del SIMCE son dos: a) orientar y retroalimentar las decisiones de política educativa (evaluar la efectividad de las intervenciones y programas estatales; focalizar sus recursos y apoyos que se proveen directa o indirectamente a las unidades educativas); y b) informar sobre los resultados y avances en términos de aprendizajes que han alcanzado los estudiantes de los establecimientos para efectos de decisión sobre estrategias y responsabilización por su implementación y efectos.
  10. Los usos del SIMCE, en cambio, son diversos y muchos han derivado en abusos. Aparte de lo dicho, el SIMCE ha sido utilizado como mecanismo de clasificación y rankeo de escuelas; se ha convertido en un argumento de marketing para los sostenedores; es usado como estilete en la lucha entre Gobierno y oposición. Ha servido también como justificación para que algunos establecimientos segreguen estudiantes, sobre todo a aquellos que presentan rezago en sus aprendizajes. El SIMCE es un indicador omni presente e incluso ha habido municipios que han segmentado su matrícula de forma tal que casi parecen haber calculado el promedio SIMCE comunal que dicha segmentación les significará. Otros municipios han creado liceos que seleccionan estudiantes y que han significado concentrar a los buenos estudiantes en estos liceos dejando a los otros en liceos que, evidentemente, concentran vulnerabilidad y riesgo socioeducativo en sus aulas. El SIMCE dejó de ser un medio, un instrumento, y se convirtió en un fin en sí mismo.
  11. Ninguna de esta prácticas, no obstante, es parte de las funciones del SIMCE. El SIMCE no fue concebido para estos usos y abusos que surgen, en primer lugar, con la divulgación acrítica e indiscriminada de sus resultados. A la  vez, los abusos se acentúan cuando se conocen las clasificaciones que el propio MINEDUC ha venido haciendo y que luego dan paso a los rankeos en medios de comunicación. Los rankings, por último, solo son posibles porque el SIMCE es aplicado a todos los establecimientos. De no haber pruebas censales, estos rankings pierden su principal sustento. Por cierto, es posible construir rankings de maneras alternativas, tal como lo hacen algunos medios nacionales e internacionales en la educación superior.
En definitiva, el SIMCE no es el problema; el problema ha sido su uso abusivo estimulado por el rol que tiene la información en un sistema escolar que funciona como un mercado y donde el Estado se auto-impone una función reguladora y evaluadora. Esta función reguladora exige la definición de metas y estándares y las metas y estándares, a su vez, llevan a una evaluación continua para establecer el nivel de logro, lo que, a su turno, actúa como un mecanismo de disciplinamiento y presión de los docentes y de los directivos.La presión y el disciplinamiento alientan a las escuelas a hacer lo que esté a su alcance para lograr un "buen SIMCE" puesto que lo que se mide es lo que se evalúa y lo que se evalúa es finalmente lo que se hace y lo que importa en un entorno de mercado. Un círculo vicioso perfecto.

Por consiguiente, al SIMCE hay que dejarlo medianamente tranquilo; lo que hay que erradicar son las prácticas de mercado que han contaminado las funciones de política educativa y mejora pedagógica. La Agencia de Calidad no precisa un SIMCE como existe hoy e incluso puede prescindir de éste si diseña e implementa de modo correcto el dispositivo de visitas evaluativas que la LGE exige. Dado el contexto y madurez relativa del sistema escolar chileno, para clasificar escuelas y luego resolver medidas de apoyo y acompañamiento, basta un buen sistema de evaluación externa, tal como existe en países anglosajones. Más todavía: el concepto de "calidad educativa" que puede construirse mediante un sistema de visitas evaluativas es mucho más rico y comprehensivo que aquel que hoy puede reflejar el SIMCE. Las familias podrían de este modo tener un valioso recurso de información y decisión, lejos del febril ritmo que imponen los rankings.

Si se quiere continuar con el SIMCE, técnicamente es posible aplicarlo a muestras de representatividad estadística asegurando igual validez y confiabilidad, entregando sus resultados confidencialmente, en sintonía con el ciclo de visitas evaluativas que hace la Agencia de Calidad,  configurando una clasificación que sirva de base a decisiones de política educativa, focalización de apoyos y recursos, reorientación o supresión de programas, etc. El SIMCE es necesario; solo hay que recuperar su sentido original.



2 comentarios:

  1. Gracias por el análisis y el resumen informado. Sin embargo, discrepo de la conclusión.
    La definición de los usos del SIMCE no son indisolubles de su origen, que tiene características globales: estimular que los sistemas educativos se orienten hacia la productividad empresarial. El SIMCE nace como un instrumento cultural de la dictadura para orientar la política educativa del estado subsidiario. En ese sentido, es indisoluble de su carácter opresivo.
    La posibilidad de una prueba nacional estandarizada, muestral, técnicamente sofisticada e informativa debe plantearse en un debate que escape al proyecto cultural de la dictadura. Por eso, el problema si es el SIMCE, pues no solo hay un montón de prácticas abusivas, de usos y mal usos, y de retórica tecnicista. Hay un simbolismo que no puede pasarse por alto: el de buscar transformar la educación en una mercancía por medio de una prueba. Eso es lo que hay hoy.
    Hay que eliminar el SIMCE solo para imaginar otro modelo de evaluación.

    ResponderEliminar
  2. Gracias por tu comentario y aporte, Iván. Comparto que el SIMCE carga significados culturales e ideológicos que resulta difícil soslayar. Quiizá sea imposible en la práctica. Mi punto acá es si en tanto sistema educativo, es posible prescindir de un dispositivo de seguimiento y evaluación de logro. Como bien dices, hay que imaginar otro modelo de evaluación.

    ResponderEliminar

Gracias por tus comentarios