En esta primera entrega de Sobre Tiza (Data) los invitamos a interiorizarse sobre las evaluaciones PISA. En cada una de las pestañas encontrarán información sobre su aplicación, evolución a lo largo de los años y también podrán interactuar con diferentes datasets que elaboramos desde Sobre Tiza.

¿Qué es y en qué consiste? ¿Qué países participaron en cada año?

El Programa Internacional para la Evaluación de Estudiantes (Programme for International Student Assessment) es una evaluación internacional desarrollada por la Organización para la Cooperación y el Desarrollo Económico (OCDE). Comenzó a implementarse en el año 2000, y se realiza cada 3 años.

Su objetivo principal es evaluar las habilidades en Matemática, Lectura y Ciencias de los jóvenes de 15 años que se encuentran asistiendo a la escuela en los sistemas educativos participantes, independientemente del grado o año que estén cursando. En cada aplicación se evalúan las tres habilidades principales, pero se coloca el foco en una de ellas, la cual concentra una mayor cantidad de ítems que las otras dos.

Participan tanto países como unidades sub-nacionales (provincias, ciudades, regiones) que representan sistemas educativos. Cada sistema participa típicamente con una muestra aleatoria de 150 escuelas y 5200 a 6300 estudiantes (35 estudiantes por escuela si se aplica en formato papel, 42 estudiantes por escuela si se aplica mediante computadoras).

Desde sus inicios, han participado 90 países distintos, con un máximo de 80 en 2018. La contabilización puede variar según cómo se consideren a los países que dejaron de existir –por ejemplo, Yugoslavia- o que forman parte de otros estados, como es el caso de Escocia en relación con el Reino Unido.

La Argentina participa desde el año 2000, aunque no participó en 2003. La Ciudad Autónoma de Buenos Aires participa como sub-región (también denominada ‘región adjudicada’) desde el año 2012, por lo que cuenta con una muestra propia representativa. En el 2018 participaron también con muestras ampliadas las provincias de Buenos Aires, Córdoba y Tucumán.

Sitio web oficial de PISA: www.oecd.org/pisa

 

¿Qué es lo que la prueba evalúa y cómo se reportan los resultados?

PISA evalúa algunas habilidades y destrezas que son consideradas como “básicas” y que no se corresponden estrictamente con el currículum específico de cada país. La evaluación se concentra en indagar la capacidad que tienen los alumnos participantes de reflexionar y utilizar las habilidades que hayan desarrollado para la resolución de situaciones en contextos nuevos.

Las principales habilidades que se evalúan, que se corresponden con las áreas ya mencionadas de Lectura, Matemática y Ciencias, son entendidas también como “alfabetizaciones” (en relación con el término inglés literacy). Resumidamente, se las puede definir como:

  • La capacidad lectora: refiere a la capacidad de los estudiantes para comprender, usar y reflexionar sobre textos escritos de distinto tipo con el objetivo de alcanzar sus propios objetivos, desarrollar su conocimiento y su potencial y participar en la sociedad. Se incluyen como textos escritos los textos descriptivos, literarios y de opinión, así como también otro tipo de textos como infografías y avisos informativos o publicitarios.
  • La capacidad matemática: refiere a la capacidad de formular, emplear e interpretar información matemática en una variedad de contextos. Involucra el razonamiento matemático y el uso de conceptos, hechos y procedimientos matemáticos para describir, explicar y predecir fenómenos.
  • La capacidad científica: refiere a la capacidad de involucrarse en temas relacionados con la ciencia y con las ideas científicas, como un ciudadano reflexivo. Una persona científicamente alfabetizada está dispuesta a participar de modo adecuado en un debate público acerca de la ciencia y la tecnología.

En relación con los resultados, se reportan principalmente a través de dos modalidades: en primer lugar, a través de una escala de puntaje estandarizado para cada una de las tres áreas evaluadas. Ello significa que la puntuación PISA es una medida relativa, no hay una puntuación máxima ni mínima, sino que los resultados se escalan de manera que respondan a una distribución normal, con un promedio de 500 puntos y una desviación típica de 100 puntos (tomando como referencia los resultados de los países que forman parte de la OCDE). Esta escala a su vez se ajusta para hacerla comparable con las de ediciones anteriores y poder determinar las posibles variaciones de ascenso o descenso en los puntajes.

En segundo lugar, para facilitar la interpretación de los resultados en las escalas estandarizadas, estas se dividen en niveles de desempeño, los cuales se asocian a una definición conceptual y un rango de aproximadamente 80 puntos en la escala. Se asocian así tanto con los resultados de los estudiantes como con la dificultad de los ítems de la prueba. Los niveles de desempeño tienen además una lógica jerárquica e inclusiva: los estudiantes que se ubican en un nivel determinado deberían poder resolver tanto las actividades propias de ese nivel como las asociadas a los niveles inferiores, pero no a la inversa. Dicho de otro modo, las probabilidades de que un estudiante ubicado en un nivel inferior resuelva correctamente un ítem de una dificultad más alta se hacen cada vez más pequeñas a medida que la dificultad del ítem se aleja del puntaje estimado para el estudiante.

Para dar una idea más acabada de lo que la prueba evalúa y lo que implica cada nivel de desempeño, dejamos a continuación dos tablas interactivas con la definición de cada nivel por área, y una selección de ítems liberados etiquetados por área y nivel de dificultad. Las definiciones que se presentan son las de 2018, y si bien se ajustan o redefinen parcialmente en cada edición, sirven como parámetro de lo que se evalúa y espera en términos generales.

(si en un principio no logra desplazarse verticalmente dentro de cada tabla, pruebe modificar algún filtro para que se active la barra de desplazamiento)

Junto con las pruebas, se administran cuestionarios complementarios que indagan aspectos adicionales para relacionar con los resultados. Normalmente se aplica este tipo de cuestionarios a los estudiantes y las escuelas, y opcionalmente a docentes y padres (los elementos opcionales son a decisión de cada sistema educativo participante).

Por lo tanto, además del cambio de foco, con cada aplicación se fueron incorporando nuevos cuestionarios complementarios (docentes, padres), áreas de evaluación (alfabetización financiera, resolución de problemas) y metodologías (aplicación por computadora – ver próxima diapositiva). Todos estos cambios repercuten en los datasets disponibles para cada año. A continuación, se presenta un mapeo de los datos disponibles y los cambios mencionados por año de aplicación.

2000 2003 2006 2009 2012 2015 2018
Foco Lec. Mat. Cien Lec. Mat. Cien Lec.
Respuestas a las pruebas Por área Si Si Si Si Si Si
Cuestionarios a estudiantes Si Si Si Si Si Si Si
Cuestionarios de escuelas Si Si Si Si Si Si Si
Cuestionario sobre uso de TIC * Si Si Si Si Si Si Si
Cuestionarios a padres * Si Si Si Si Si
Cuestionarios a docentes * Si Si
Otros * EC EC, RFS EC, PS EC, CPS EC, WB
Alfabetización financiera * Si Si Si

 

Notas:

* Elemento opcional, lo aplican solamente aquellos países que deciden hacerlo.

EC: Educational Career (cuestionario sobre la trayectoria educativa del estudiante).

RFS: Reading For School (cuestionario sobre las practices de lectura en la escuela).

PS / CPS: Problem Solving, Collaborative Problem Solving (pruebas sobre resolución de problemas).

WB: Well-Being (cuestionario sobre bienestar –físico, social y emocional- del estudiante dentro y fuera de la escuela).

 

Inicialmente la prueba se aplicó en formato papel. En 2003 se realizó una primera prueba piloto de aplicación de la prueba por computadora, en la que participaron 3 países (Dinamarca, Islandia y Corea del Sur). En 2009 se ofreció participar en una prueba adicional opcional de lectura “electrónica” (Electronic Reading Assignmen – ERA) en la que participaron 19 países (los estudiantes que realizaron esta prueba también realizaron la prueba en papel).

En 2012 se ofreció directamente la posibilidad de realizar la prueba completa por computadora en vez de en papel. Los países podían optar por participar con todos los estudiantes con aplicación exclusivamente por computadora, o bien optar por que participe una parte por computadora y otros en papel. 43 países optaron por participar de la aplicación con computadora, 39 de los cuales lo hicieron para la totalidad de los estudiantes participantes.

Ya a partir de 2015, la aplicación por computadora pasó a ser la norma, y la opción quedó para decidir participar con aplicación en papel; ya no se pueden ambas, la opción debe ser por una u otra metodología de aplicación. En 2018 la aplicación por computadora alcanzó a casi el 90% de los países participantes.

1 Comentario

Deja un comentario