Evaluando la evaluación: ¿cuál es la incidencia del poco esfuerzo de los estudiantes en las pruebas educativas?

Las pruebas estandarizadas como las PISA o Aristas que realiza el Instituto Nacional de Evaluación Educativa (Ineed) permiten obtener una cantidad de información sobre el nivel educativo y el apr...

Las pruebas estandarizadas como las PISA o Aristas que realiza el Instituto Nacional de Evaluación Educativa (Ineed) permiten obtener una cantidad de información sobre el nivel educativo y el aprendizaje. Ayudan a conocer a los estudiantes, saber niveles, hacer comparaciones a lo largo del tiempo. Son una herramienta que genera información importante para pensar políticas públicas. Pero no tienen consecuencias para los estudiantes. Un alumno no pierde o salva una de esas pruebas. No recibe una nota que luego verá reflejada en su carné.

Por eso, ese tipo de pruebas tienen el riesgo de enfrentarse a un menor esfuerzo de los estudiantes a la hora de responder lo que podría, a su vez, incidir en los resultados generales y la información que aportan esas pruebas.

O en palabras más académicas, en evaluaciones que presentan “escasa o ninguna consecuencia personal, algunos estudiantes pueden carecer de motivación para hacer su mejor esfuerzo” y esta “conducta introduce un sesgo negativo en el rendimiento de la prueba que puede disminuir la validez de las inferencias que se realizan sobre la base de los puntajes obtenidos”.

Y, además, hay evidencia de que esa falta de motivación no afecta a todos por igual sino que hay características, como el género o el contexto socioeconómico, que influyen directamente en este tema.

Es por eso que el último reporte de Aristas, que se publicará este lunes y al que El Observador accedió por adelantado, se centra en este tema para analizar la magnitud e incidencia de las respuestas con poco esfuerzo entre los estudiantes de tercero de educación media.

Y la primera conclusión es positiva –pensando en la calidad de la evaluación que se realiza–. “Los análisis realizados muestran que los porcentajes de adivinación rápida (o bajo esfuerzo) obtenidos en Aristas Media están en general dentro de lo esperado en este tipo de evaluaciones”, dice el documento. En promedio, entre el 1,2% y el 8% de las respuestas de los estudiantes son producto de adivinación rápida.

Incluso, si se utilizan los mismos criterios que utiliza la OCDE para analizar este tipo de respuestas en las PISA, los números de Aristas están en línea con los de esa prueba. “Los resultados son alentadores comparativamente. Tenemos un nivel similar o incluso mejor que PISA”, explicó a El Observador la directora del Área Técnica del Ineed, Carmen Haretche.

¿Cómo se calculan las respuestas de bajo esfuerzo? Existen diferentes metodologías pero uno de los criterios más extendido es evaluar cuantas respuestas (la gran mayoría son múltiple opción) se contestan en menos de 5 segundos.

El estudio también concluye que, tal como evidencian otros trabajos, ser varón “incide negativamente en el nivel de esfuerzo”, particularmente en matemática. Esto va en línea con lo que plantean otros reportes de Aristas que señalan con los varones tienen más conductas externalizantes (menos autorregulación, más conductas de riesgo, etc.).

Sin embargo, ser varón no es la única característica que incide de forma negativa en el bajo esfuerzo. “Se observa que en todas las áreas la extraedad incide negativamente en el nivel de esfuerzo, constituyendo el factor con más influencia dentro de las variables sociodemográficas”, dice el reporte de Aristas.

Dicho de otra forma, la bibliografía indica que la adivinación rápida o el bajo esfuerzo es más alta entre los estudiantes que abandonan sus estudios. “La repetición y el rezago (extraedad) están fuertemente relacionados a la deserción escolar”, dijo.

Asimismo, se observa un “efecto positivo” del contexto socioeconómico del centro educativo en el esfuerzo. Pero, una vez controlada esa característica, el nivel socioeconómico de la familia pierde relevancia.

¿Cómo se puede cambiar esto? El reporte de Aristas asume que contar con una “cierta cantidad” de respuestas realizadas con bajo esfuerzo es inevitable, sobre todo en este tipo de evaluaciones que no tienen consecuencias para los estudiantes. Excluir algunas respuestas o hacer estimaciones a partir de estos resultados puede tener consecuencias negativas en las inferencias que se realicen, asegura.

En ese contexto, la “medida más efectiva” para abordar este tema es la “prevención, administrando pruebas e ítems que no sean desmotivadores” y en un clima de aplicación que sea adecuado. Haretche aseguró que de un tiempo a esta parte el Ineed está trabajando para generar propuestas más motivantes.

En el caso de las pruebas Aristas, la presencia de un “aplicador externo”, dice el reporte, ha sido clave para generar un buen ambiente, reforzar instrucciones y fomentar el compromiso de los estudiantes.