América Latina después de PISA

0
1058
- Publicidad -

En la última edición de la evaluación PISA de 2015 hubo cambios en la metodología que afectaron de manera pronunciada a los países de América Latina. Además, Por otra parte, Argentina quedó apartada a un asterisco que afirmaba que sus resultados no eran comparables con la edición anterior.

Tanto el cambio metodológico, como las hipótesis de adulteración de la muestra de escuelas, no fueron suficientemente desarrollados por los informes oficiales de la OECD y de autoridades educativas nacionales. Es por eso que CIPPEC realizó un estudio que demuestra que la comparabilidad de los resultados en el tiempo ha quedado afectada y ya no es posible reconstruir la serie histórica desde el año 2000, cuando comenzó PISA, no sólo del país sino de la región.

“No sabemos ahora con claridad qué países mejoraron en PISA”, se afirma. ¿Cuál fue el cambio metodológico principal? Si bien en el documento de la OECD señala que hasta 2012 las preguntas no contestadas implicaban nota baja y que desde 2015 no son válidas, este cambio no fue del todo tenido en cuenta por los análisis.

“Sólo en los países de América Latina este cambio afectó la comparabilidad de los resultados. Por ejemplo: Uruguay y Colombia tuvieron mejoras notables entre 2012 y 2015 pero sólo se explican por el cambio de metodología. Al recalibrar la medición de manera estrictamente comparable sus resultados no mejoraron”, puede leerse en el documento.

Pero en otros países la variación es aún más importante. En los casos de Argentina, Chile, Perú, luego de recalibrar los datos con la metodología actual, se sabe que los resultados de ediciones pasadas no eran tan bajos. En este sentido, desde CIPPEC afirman que se podría decir que entre 2006 y 2015 los países de América latina “no mejoraron” (salvo alguna excepción) pero también que “estaban mejor antes” (y sólo ahora, con el cambio metodológico, podemos constatarlo). Las recalibraciones metodológicas tampoco van más allá del año 2006 y dejan la serie histórica de PISA incomparable para América Latina.

En el estudio, dirigido por Axel Rivas, investigador principal de CIPPEC, y Martín Scasso, especialista en estadística educativa y responsable de la Fundación Quántitas, se señala que los resultados de Argentina para PISA 2015 no se consideran comparables con años anteriores, y esta significativa pérdida de información clave es irremediable.

“El argumento técnico que fundamenta esta decisión es sólido, y no exige la búsqueda de mayores explicaciones. Esta decisión es consecuencia de omisiones en el marco muestral, a priori no es posible asignarlas a errores técnicos o a exclusiones intencionales. Lo que resulta claramente insuficiente es la explicación de las causas por las que se incurrió en estos errores, y por qué fueron detectados en forma tardía luego de aplicar la prueba y no antes”, se lee en el documento.

Además, afirman que esta decisión invita a preguntarse por qué los resultados de otros países -que muestran también severos problemas de cobertura en sus muestras- fueron publicados sin ningún recaudo técnico (tal como se desarrolla en el anexo IV).

Por otra parte, Argentina obtuvo en 2015 resultados muy destacados en comparación con ediciones anteriores. Pero, como ambos fenómenos se presentan en forma conjunta, “inducen a una rápida (y errónea) asociación entre ambos”, afirman los especialistas.

Ante la pregunta “¿Por qué es importante analizar los resultados, si han sido invalidados?” en el estudio se señalan dos

  • El error en el procedimiento de muestreo no tiene necesariamente relación con los resultados: de no existir sesgos marcados en el grupo de evaluados, es muy posible que los resultados de Argentina en una hipotética muestra correcta alcancen resultados similares a los observados.
  • Aunque los resultados no sean comparables estrictamente, no deja de sorprender el nivel de desempeños obtenidos respecto del 2012, crecimiento poco visto en PISA. Si se excluyen explicaciones vinculadas a intervenciones externas que introduzcan sesgos en los datos, es necesario analizar estos resultados para entender la situación reciente del país.

“La aplicación de PISA 2018 deberá contemplar este desafío, así como también tendrá que considerar la implementación de criterios de transparencia que permitan responder muchos de los interrogantes que la aplicación de PISA 2015 ha dejado abiertos”, concluyen

Los invitamos a descargar y a leer el documento completo, en este enlace.

- Publicidad -

Deja un comentario