puntuaciones según la metodología TRI 12 , de
las ponderaciones e imputaciones pertinen-
tes para que las respuestas obtenidas fueran
generalizables al conjunto de la población,
de las recodificaciones y del cálculo de
diversas agregaciones a partir de las res-
puestas contenidas en los cuestionarios de
contexto.
Adicionalmente, y sólo en relación con
los datos de España, el equipo del INCE
encargado de la aplicación del proyecto ha
calculado algunas nuevas agregaciones y un
índice socio-económico y cultural (ISEC) que
sirva de referencia para el análisis contextual
de los resultados de rendimiento 13 .
las prácticas didácticas o el clima de clase y
los resultados de rendimiento.
En Cataluña todos los cuadernillos fue-
ron aplicados en catalán. En Galicia y en la
Comunidad Valenciana los alumnos tenían la
opción de elegir versiones de los cuaderni-
llos en gallego o valenciano, o en castellano.
En las Islas Baleares y el País Vasco el régi-
men lingüístico de la enseñanza en el que
estaba matriculado al alumno determinaba si
se debía utilizar la versión en catalán o eus-
quera, o la versión en castellano. En los res-
tantes territorios se utilizó exclusivamente la
versión en castellano.
Corrección, grabación, depuración y construcción
de la base de datos
Una vez aplicadas las pruebas y cuestiona-
rios, un grupo de expertos procedió a corre-
gir y puntuar manualmente las respuestas
construidas dadas a las preguntas abiertas,
de acuerdo con una extensa guía elaborada
por el consorcio técnico internacional con
abundantes y pormenorizados criterios de
corrección. Un subconjunto de los cuader-
nillos fue corregido cuatro veces por correc-
tores distintos para poder comparar sus
puntuaciones y asegurar que los criterios de
corrección fueran aplicados de un modo
consistente. La fiabilidad de la corrección
manual de los cuadernillos españoles resul-
tó ser excelente.
El conjunto de respuestas obtenidas fue
grabado en soporte informático y sometido a
un exhaustivo control y depuración realizado
tanto por el responsable nacional del estudio
PISA como por el consorcio técnico interna-
cional. Este consorcio fue el responsable de
la construcción de la base de datos definitiva
con los resultados obtenidos en todos los
países participantes, del cálculo de los pará-
metros de los ítems, del escalamiento de las
Escalas y niveles de rendimiento
Como se ha explicado más arriba, no se ha
pedido a cada alumno que conteste a todas
las preguntas establecidas en los marcos
teóricos de referencia. En su lugar, cada
alumno ha contestado a un subconjunto –o
muestra– de esas preguntas según el cuader-
nillo de prueba que le fue asignado aleato-
riamente. A partir de sus respuestas, más el
resto de la información disponible sobre ese
alumno –extraída de sus respuestas al cues-
tionario de contexto–, ha sido posible esti-
mar cinco valores plausibles 14 que represen-
tan cuál hubiera sido su puntuación global si
hubiera contestado al conjunto total de pre-
guntas previstas, y no sólo a la muestra con-
creta de preguntas que efectivamente ha
contestado. Estos valores plausibles son muy
útiles a la hora de generalizar a toda la pobla-
ción de alumnos de 15 años de cada país las
respuestas reales obtenidas por los alumnos
de la muestra.
El rendimiento se describe mediante
diferentes escalas. La puntuación alcanzada
por un alumno en cada una de esas escalas
12
Teoría de Respuesta al Ítem, en inglés Item Response Theory (IRT).
En el Anexo I se encontrará explicado el método de cálculo del índice ISEC.
14
Los detalles sobre el procedimiento de estimación se encuentran en el Manual Técnico de PISA 2000.
13
[ 22 ]