PISA

El programa PISA

de la OCDE

Qué es y para qué sirve

ORGANIZACIÓN PARA LA COOPERACIÓN  Y EL DESARROLLO ECONÓMICOS (OCDE)

La OCDE reúne a 30 países miembros comprometidos con la democracia y la economía de mercado para los que constituye un foro único de debate, desarrollo y perfeccionamiento de políticas económicas y sociales. La misión de la OCDE consiste en promover políticas destinadas a:

• lograr la máxima expansión posible del crecimiento económico y el empleo, y un mejor nivel de vida de los países miembros, sin dejar de mantener la estabilidad financiera y, de esa forma, contribuir al desarrollo de la economía mundial;

• contribuir a una sana y sólida expansión económica en países –tanto miembros como no miembros– que estén en pleno proceso de desarrollo económico;

• contribuir a la expansión del comercio mundial con criterios multilaterales y no discriminatorios, dentro del respeto a las obligaciones internacionales.

Además, la OCDE mantiene relaciones activas con cerca de 70 países más, con organizaciones no gubernamentales y con representantes de la sociedad civil, lo que confiere a sus actividades un alcance mundial. OCDE, Organización para la Cooperación y el Desarrollo Económicos, París. PISATM, OECD/PISATM y el logotipo PISA son marcas registradas de la Organización para la Cooperación y el Desarrollo Económicos. Está prohibido cualquier uso de las marcas registradas de la OCDE sin autorización escrita de la OCDE.

El programa PISA de la OCDE qué es y para qué sirve

I. Qué es PISA y cómo funciona

¿Qué es PISA?

El nombre PISA corresponde con las siglas del programa según se enuncia en inglés: Programme for International Student Assessment, es decir, Programa para la Evaluación Internacional de Alumnos. Se trata de un proyecto de la OCDE (Organización para la Cooperación y el Desarrollo Económicos), cuyo objetivo es evaluar la formación de los alumnos cuando llegan al final de la etapa de enseñanza obligatoria, hacia los 15 años.1 Se trata de una población que se encuentra a punto de iniciar la educación post-secundaria o que está a punto de integrarse a la vida laboral. Es muy importante destacar que el Programa

ha sido concebido como un recurso para ofrecer información abundante y detallada que permita a los países miembros adoptar las decisiones y políticas públicas necesarias para mejorar los niveles educativos.

La evaluación cubre las áreas de lectura, matemáticas y competencia científica. El énfasis de la evaluación está puesto en el dominio de los procesos, el entendimiento de los conceptos y la habilidad de actuar o funcionar en varias situaciones dentro de cada dominio.

Los exámenes

Los exámenes utilizados en el proceso de evaluación no requieren otra cosa que papel y lápiz y cada estudiante cuenta con dos horas para responderlo. Cada examen es una combinación de preguntas directas con una única respuesta correcta (preguntas que sólo admiten algunas palabras o algunas frases breves por respuesta, o que ofrecen múltiples opciones para que el alumno marque alguna o algunas), y preguntas que requieren que los estudiantes elaboren sus propias respuestas. Las preguntas del primer tipo sólo pueden ser correctas o incorrecEl

programa PISA de la OCDE. Qué es y para qué sirve tas, y las del segundo tipo son de evaluación más compleja y admiten respuestas parcialmente correctas. Es importante destacar que si bien PISA utiliza la herramienta de las preguntas de opción múltiple, una porción importante de los reactivos, particularmente los más complejos, requieren del alumno la redacción de textos e incluso la elaboración de diagramas. No todos los alumnos tienen el mismo examen sobre la mesa el día de la prueba; a diferentes alumnos les tocan cuadernillos distintos. Tal como se aplicó la prueba en 2006, había 13 cuadernillos de examen diferentes, cada uno de ellos con cuatro capítulos o grupos de actividades de evaluación. Además del examen propiamente dicho, los estudiantes deben responder un cuestionario en el que se les hacen preguntas sobre sí mismos y sobre sus hogares.

Este cuestionario de contexto es una herramienta muy importante para el aprovechamiento de la prueba de PISA, y hablaremos de él más adelante.

La muestra

Para la realización de PISA se utilizan muestras representativas de entre 4,500 y 10,000 estudiantes por país. Este tamaño de muestra permite realizar inferencias del país en su totalidad pero no permite inferencias por regiones o estados. Algunos países solicitan sobre muestras para utilizar la prueba también en la exploración de las diferencias regionales. Tal fue el caso de México, que en el ciclo de evaluación de 2003 condujo una evaluación con 29,983 estudiantes y en el ciclo 2006 con 30,971 estudiantes.

Los resultados

PISA se propone ofrecer un perfil de las capacidades de los estudiantes de 15 años de todos los países donde se aplica el examen. Además, provee información sobre el contexto personal, familiar y escolar de los participantes en la muestra. El carácter cíclico (trienal) de la evaluación permite tener indicadores sobre las tendencias en cada país y en el conjunto de los países involucrados en el proyecto.

En última instancia, la calidad y riqueza de los datos arrojados en el proceso de evaluación pretende constituirse en la base para la investigación y análisis destinados a mejores políticas en el campo de la educación.

México y PISA

El programa de evaluación internacional PISA fue desarrollado entre 1997 y 1999 y aplicado por primera vez en el año 2000 con la colaboración de 28 países miembros de la OCDE, entre ellos México (más cuatro países no miembros, dando un total de 32 países). Por lo tanto, no se trata de un instrumento El programa PISA de la OCDE qué es y para qué sirve de evaluación que corresponda a la trayectoria de ciertos países y haya sido exportado a otros, sino que fue gestado con la colaboración de los mismos países que habrían de aplicarlo, y ello contribuyó a que se atendiera la universalidad en el enfoque del examen y en la pertinencia cultural de los ejemplos utilizados en los reactivos. El primer ciclo de evaluaciones se aplicó en 2000 y 2002, en un total de 43 países (los 32 iníciales más otros 11). El segundo ciclo, realizado en 2003 abarcó 41 países, y el último ciclo realizado hasta ahora, el de 2006, incluyó a 57 países. La siguiente evaluación será en 2009.

Qué evalúa PISA

A diferencia de otros exámenes que se han utilizado en el pasado, PISA está diseñado para conocer las competencias, o, dicho en otros términos, las habilidades, la pericia y las aptitudes de los estudiantes para analizar y resolver problemas, para manejar información y para enfrentar situaciones que se les presentarán en la vida adulta y que requerirán de tales habilidades. PISA se concentra en la evaluación de tres áreas: competencia lectora, competencia matemática y competencia científica. Si bien la adquisición de conocimientos específicos es importante en el aprendizaje escolar, la aplicación de esos conocimientos en la vida adulta depende rigurosamente de la adquisición de conceptos y habilidades más amplios. En ciencia, tener conocimientos específicos, como los nombres de las plantas y los animales, tiene menor valor que comprender temas más amplios, como el consumo de energía, la biodiversidad y la salud humana, cuando se trata de pensar en los grandes problemas en debate dentro de la comunidad adulta.

Evaluación cíclica

La evaluación a través del PISA se realiza cada tres años, con el objeto de permitir a los países supervisar adecuadamente su desempeño y valorar el alcance de las metas educativas propuestas. Cada año de su realización el proyecto se ha concentrado en alguna de las tres áreas evaluadas: en la evaluación del año 2000 se dio especial atención a la competencia en lectura, en el 2003 a la competencia en matemáticas y en 2006 a la competencia en el área de ciencias. Esto quiere decir que la parte más extensa del examen se refiere al área de concentración correspondiente a ese año (Los porcentajes son aproximadamente 66% para el área de concentración y 17% para cada una de las otras áreas).

El programa PISA de la OCDE. Qué es y para qué sirve

Contexto

La universalidad que le da a PISA el hecho de no estar ligado a currículos y planes de estudio específicos no implica una indiferencia frente al contexto.

Un cuestionario dirigido al responsable de cada escuela permite recabar información sobre el contexto del estudiante: las condiciones de su entorno, su familia, sus hábitos de estudio, las condiciones de su escuela.

Lo que evalúa y lo que no evalúa PISA

PISA no está diseñado para evaluar el aprendizaje de los contenidos específicos fijados en los programas de las escuelas o de los distritos o regiones correspondientes.

Tampoco está pensado para evaluar el desempeño de los docentes ni los programas vigentes. PISA se centra en el reconocimiento y valoración de las destrezas y conocimientos adquiridos por los alumnos al llegar a sus quince años. La adquisición de tales destrezas y conocimientos es fruto de numerosas circunstancias familiares, sociales, culturales y escolares. PISA trata de recoger información sobre esas circunstancias para que las políticas que pudieran desprenderse del análisis de los resultados de la prueba atiendan a los diferentes factores involucrados. Los resultados de la prueba describen el grado en el que se presentan las competencias estudiadas y permiten observar la ubicación de los resultados de cada país en el contexto internacional.

Evaluar las competencias

La evaluación de competencias no se dirige a la verificación de contenidos; no pone la atención en el hecho de que ciertos datos o conocimientos hayan sido adquiridos. Se trata de una evaluación que busca identificar la existencia de ciertas capacidades, habilidades y aptitudes que, en conjunto, permiten a la persona resolver problemas y situaciones de la vida. No interesa, pues, en el enfoque de la evaluación de competencias, sólo si una persona lee y cuánto lee, por ejemplo, sino más bien qué competencia tiene en la lectura: qué capacidad para identificar ideas y argumentos en el texto, qué destreza para reconocer problemas y planteamientos distintos.

Hay competencias muy generales, que preceden a la formación escolar, como la competencia comunicativa, o las competencias de colaboración o de creatividad.

Algunas competencias básicas ligadas a la enseñanza escolar son, por ejemplo, la lectura, la escritura y el cálculo. La exploración del proyecto PISA se refiere a competencias específicas (lectura, matemáticas, ciencia), detalladas y divididas en sub-competencias, dentro de cada área. El programa PISA de la OCDE qué es y para qué sirve La definición de competencia utilizada en México por el Instituto Nacional para la Evaluación de la Educación es la siguiente: “un sistema de acción complejo que abarca las habilidades intelectuales, las actitudes y otros elementos no cognitivos, como motivación, valores y emociones, que son adquiridos y desarrollados por los individuos a lo largo de su vida y son indispensables para

participar eficazmente en diferentes contextos sociales”.3 La clave del concepto de competencia, tal como se utiliza para el PISA y lo ha explicado el INEE, está en valorar la capacidad del estudiante para poner en práctica sus habilidades y conocimientos en diferentes circunstancias de la vida. Al examinar los conocimientos y habilidades cerca del final de la enseñanza básica, PISA examina el grado de preparación de los jóvenes para la vida adulta y, hasta cierto punto, la efectividad de los sistemas educativos. Su ambición es evaluar el éxito con relación a los objetivos subyacentes (definidos por la sociedad) del sistema educativo, y no con relación a la enseñanza de un cuerpo de conocimientos determinado.

II. Las tres competencias evaluadas por PISA:

lectura, matemáticas y ciencias

Competencia lectora

Según el comité de expertos de la OCDE, se entiende por competencia lectora la capacidad de un individuo para comprender, utilizar y reflexionar sobre textos escritos, con el propósito de alcanzar sus objetivos personales, desarrollar su conocimiento y sus capacidades, y participar en la sociedad. En la evaluación de la competencia lectora se toman en cuenta las habilidades del alumno para acercarse a textos de diferente índole que la prueba agrupa en dos categorías: textos en prosa continua (como una narración breve, una nota periodística o una carta) y textos en prosa discontinua (con párrafos separados por imágenes, diagramas y espacios, como pueden ser los manuales de operación de algún aparato, los textos publicitarios, las argumentaciones científicas, etcétera). De esta forma, la evaluación de la competencia lectora se despega de la mera noción del texto literario y se ocupa de una variedad considerable de textos propios de las diferentes circunstancias que puede enfrentar un ciudadano contemporáneo en su vida cotidiana.