Artículo: Calibrado de la comprensión. El test triárquico de monitoreo (TTM)

María del Carmen Malbrán
Débora Pérez Rejón

Resumen

El diseño de pruebas por computadora diversifica los procedimientos de evaluación. Los principios para la construcción se derivan de la teoría general de la medición aplicados a este formato.
La consulta de la documentación online e impresa sobre el tema provee criterios para la caracterización y construcción de pruebas mediadas por computadora.
El capítulo ilustra la construcción de un prototipo de evaluación online que comprende las siguientes fases: 1.- análisis cuanti y cualitativo de los datos provenientes de la aplicación de la prueba formativa sobre la Teoría Triárquica de la Inteligencia Humana de R. J. Sternberg (Malbrán M., 1995) ; 2.- construcción del Test Triárquico de Monitoreo, una versión adaptada en contenido y estructura de la Prueba Formativa; 3.- diseño y aplicación de una demo del instrumento; 4.-construcción del prototipo online del “Test Triárquico de Monitoreo”.
La versión del prototipo de evaluación online se encuadra en el programa VirtualMente (PIP 190/98 CONICET) , un entorno basado en la Web para el despliegue de procesos cognitivos.

Introducción

Un propósito de la evaluación entendida como proceso persigue fundamentar la toma de decisiones en diferentes situaciones y ámbitos. La utilización de nuevas tecnologías de la información y la comunicación en el contexto educacional, hace necesario que se diseñen evaluaciones en formatos que acompañen estas innovaciones. Las pruebas mediadas por computadora representan un intento.
La construcción de un instrumento de evaluación online puede considerarse innovadora e integrarse a un entorno virtual de aprendizaje tal como se ha hecho en el programa VirtualMente.
La elaboración del prototipo de evaluación online comprende los pasos siguientes:
 aplicar los principios metodológicos para elaborar pruebas mediadas por computadora;
 construir una versión adaptada en contenido y estructura de la “Prueba Formativa sobre la Teoría Triárquica de la Inteligencia Humana” para el programa VirtualMente .
 Diseñar un prototipo de evaluación online de la versión revisada, denominado “Test Triárquico de Monitoreo”.

Calibrado de la comprensión

El calibrado de la comprensión (Schraw, Wise y Roos, 1998), se refiere a las estrategias metacognitivas que emplea el sujeto para una autoevaluación conciente del grado actual de comprensión de un texto, una teoría, etc. y la posterior regulación ante fallos o dificultades detectadas.
Consiste en determinar el grado en que se entiende el material a través de actividades de monitoreo, la relación entre lo que se cree haber aprendido y lo que realmente se ha logrado. Es una habilidad metacognitiva importante para medir la cantidad de esfuerzo necesario para una acción exitosa.
El calibrado de la comprensión ofrece una alternativa para desarrollar y optimizar procesos cognitivos de nivel superior.
En la activación de la regulación (estrategias autorreactivas) actúan dos factores: la meta perseguida (comprensión, establecimiento de relaciones, manejo adecuado de la terminología, etc.) y el conocimiento del grado en que ella ha sido alcanzada (González, A, 1996 ).
Una forma de poner en juego el calibrado de la comprensión consiste en correlacionar lo que los sujetos creen que han aprendido de los textos y el rendimiento en una prueba.
La versión original del Test Triárquico de Monitoreo es parte de un entorno virtual más amplio denominado VirtualMente.

El marco conceptual adopta la Teoría Triárquica de la Inteligencia Humana de R. J. Sternberg (1986 y ediciones posteriores) y su programa derivado.
La Teoría Triárquica (T.T.) concibe la inteligencia humana como autogobierno mental. Distingue entre inteligencia analítica, creativa y práctica.
En términos generales, la inteligencia analítica involucra la habilidad para planificar, monitorear y evaluar la propia ejecución (metacomponentes). La inteligencia creativa tiene que ver con los procesos de insight y la inteligencia práctica con la comprensión del entorno que permite la resolución de problemas.
La acción contextualmente apropiada es inteligente en función de la medida en que pone en juego ciertos tipos de procesos mentales. En la inteligencia analítica los metacomponentes controlan el procesamiento de la información al proponer, guiar y evaluar el curso de la acción; los componentes del desempeño ejecutan los planes de los metacomponentes y los componentes de adquisición del conocimiento codifican y combinan selectivamente la nueva información comparándola con la existente .

Los metacomponentes son procesos directivos de los otros componentes. Reciben retroalimentación relativa al estado de las actividades en la solución de un problema o la ejecución de una acción. Son los responsables de determinar cómo se ha de realizar una tarea o conjunto de tareas y asegurar que se realice apropiadamente.
Los componentes ejecutivos se despliegan en las variadas estrategias de solución de problemas. Si los metacomponentes deciden lo que debe hacerse, los componentes ejecutivos lo llevan efectivamente a cabo. Según Sternberg (op. cit.) son estos últimos los que las pruebas existentes de inteligencia miden más eficazmente: los componentes ejecutivos de razonamiento inductivo como la inferencia y la utilización de relaciones están generalmente implicados en muchas de las tareas típicas de las pruebas .
La identificación y diferenciación de los componentes ejecutivos utilizados en la solución de problemas, es de importancia decisiva para el diagnóstico y mejoramiento del rendimiento.
Los componentes de adquisición del conocimiento aluden a los procesos que se utilizan en el aprendizaje considerando que la capacidad para aprender, más que el contenido del aprendizaje, es parte esencial de la inteligencia .

En síntesis, una parte importante de la inteligencia consiste en el conjunto de mecanismos mentales o componentes utilizados en aprender a resolver problemas, en la toma de decisiones sobre las estrategias a seguir y en la ejecución efectiva de los pasos establecidos .
En la TT los metacomponentes son particularmente relevantes y puede suponerse que también lo son en el calibrado de la comprensión a medida que el sujeto avanza en la realización de la tarea. En este caso de la prueba triárquica, permiten apreciar el grado en que la consulta previa a la documentación ha producido un acceso significativo a los conceptos básicos de la teoría.
El programa triárquico derivado de la TT, intenta ayudar a construir las habilidades cognitivas de modo que cada persona, independientemente de las diferencias individuales que se observan en los procesos superiores, pueda alcanzar el nivel más alto posible.

Está pensado para estudiantes de los niveles medio y universitario y consiste en un texto que contiene los fundamentos, guías para el trabajo, ejercicios y problemas ilustrativos.
Según Sternberg (op.cit.) quien desee optimizar el desarrollo de habilidades intelectuales en otras personas debe comenzar por mejorar las propias.
Se entiende por optimizar el desarrollo de las habilidades cognitivas conocerlas y controlarlas de manera de identificar fortalezas y dificultades que faciliten el acceso a la resolución de problemas de manera inteligente (analítica, creativa y práctica).

El Test Triárquico de Monitoreo

El TTM se concibe como una herramienta para el control de la propia comprensión sobre la Teoría Triárquica. En un instrumento de carácter formativo, estructurado y sometido a controles de validación. Brinda datos para la regulación de las estrategias de comprensión de esta teoría, que se considera pertinente para el desarrollo y mejoramiento de procesos cognitivos, aspecto crucial en la educación universitaria.

Fases del diseño del prototipo online del TTM

1.) Análisis cuanti y cualitativo de la Prueba Formativa sobre la Teoría Triárquica aplicada en el Seminario Desarrollo de la Enseñanza Universitaria, cursos 1995 y 1997, modalidad lápiz y papel ( n = 66).
2.) Elaboración de una versión adaptada al programa VirtualMente, adecuando el contenido y la estructura a los propósitos del mismo . La versión fue sometida a controles de validez de contenido mediante el juicio de expertos a quienes se les suministró una guía para el análisis. La versión posterior del instrumento se preparó de acuerdo con los resultados y recomendaciones surgidas en esta fase.
3.) Diseño del prototipo online de evaluación en dos instancias:
a.- prototipo inicial y prueba con un grupo de usuarios potenciales;
b.- programación del prototipo mejorado del TTM.

Las diferentes versiones del TTM se basan en el siguiente esquema que ilustra la relación contenidos - procesos cognitivos involucrados y los ítems correspondientes

Click en la imagen

Esquema 1

El TTM está compuesto por 30 ítems de respuesta seleccionada de las variedades: respuesta correcta (14), mejor respuesta (15) y variedad respuesta múltiple (1). Atendiendo a la naturaleza formativa del instrumento, para cada uno de los ítems se ha previsto la justificación de la respuesta correcta, a la cual el examinado accede toda vez que la selecciona. El feedback es inmediato dadas las posibilidades de la mediación por computadora.
Los ítems del prototipo fueron elaborados tomando en cuenta los índices de dificultad y discriminación y el análisis de opciones de la prueba formativa original, lo que dió como resultado:
• la modificación de enunciados de 6 items;
• la sustitución de alternativas u opciones en 4 items ;
• la reformulación de 10 ítems;
• la eliminación de 9 items ;
• la construcción de 9 ítems.

El prototipo inicial online programado en HTML presentaba una estructura lineal rígida, no permitiendo navegar por la prueba “libremente”, dado que la ruta estaba prescripta. El Gráfico 1 ilustra la estructura del prototipo inicial. Cada rectángulo en color representa una pantalla distinta. Los números y flechas indican pantalla y secuencia.
Como puede observarse en el diagrama, la estructura del prototipo inicial permite que el usuario lea las instrucciones y luego proceda a autoevaluar sus conocimientos. Es necesario resolver correctamente un ítem para poder pasar al siguiente.
La puesta a prueba del protocolo inicial sugirió la conveniencia de flexibilizar el circuito, de manera que los examinados pudieran acceder a los items en el momento en que lo decidieran, lo que permite mayor libertad para “recorrer” la prueba y adecuar el ritmo de trabajo a las características personales, favoreciendo el calibrado de la comprensión en consonancia con el carácter formativo del instrumento.
En el prototipo mejorado del TTM la programación en HTML se realizó empleando el software de construcción Hot Potatoes - versión 5.2. La selección del software obedeció a sus funcionalidades y al carácter gratuito de la licencia, que permite su uso sin fines de lucro en ámbitos educativos.

Gráfico 1. Estructura del Prototipo inicial

Click en la imagen

Las características principales del prototipo mejorado son:

• instrucciones siempre visibles, permitiendo que el examinado las consulte cuando lo requiera sin tener que volver a la página inicial;
• ítems presentados de a uno a fin de favorecer la claridad perceptiva y focalizar la atención, lo que permite un uso más adecuado del espacio de la pantalla, evitando la utilización de la barra lateral o scroll del navegador , dado que el texto no excede el largo de la pantalla;
• barra de navegación, ubicada en la mitad de la pantalla sobre el enunciado del item, lo que permite ubicar el número de item en el que se está trabajando
• retroalimentación inmediata y permanente mediante la justificación de la respuesta correcta;
• flexibilidad en la navegación, no es necesario completar un ítem para pasar al siguiente, pudiendo hacerlo mediante la barra de navegación aún en caso de omisión de la respuesta;
• ritmo rápido en la “carga” de la página online , dado que no incluye gráficos o imágenes que demoren la visualización , ahorrando tiempo de conexión a Internet .

Click en la imagen

El diagrama ilustra la disposición de los elementos y su combinación: instrucciones, movilidad de tránsito y justificación de respuestas.
El tránsito por la prueba y el análisis de los aciertos y errores permite al usuario obtener una semblanza de su rendimiento. La especificación acerca de los contenidos y procesos que involucra cada ítem (véase Esquema 1), así como las justificaciones de respuesta que provee, suministran elementos para analizar la propia ejecución en pruebas de este tipo .
Restricciones del programa utilizado para la construcción de pruebas online han impedido incluir una ventana para comentarios y sugerencias, prevista en la versión del TTM incluída en el sitio VirtualMente.
Se ha elegido como color de fondo de pantalla el azul y las letras en blanco a fin de favorecer la claridad perceptiva.

Conclusiones

El TTM constituye un procedimiento de evaluación interactivo donde el examinado-usuario puede autoevaluar su grado de apropiación y comprensión significativa del material. Posibilita el ejercicio de habilidades intelectuales a través del reconocimiento de conceptos y principios, el manejo comprensivo de la terminología, la de proposiciones, la identificación de ideas de las que se derivan otras, la interpolación y extrapolación de elementos. Respeta el ritmo de trabajo individual. Suministra indicios para la mejora de la actuación mediante la justificación de respuestas.
La autoevaluación o calibrado de la comprensión que intenta poner en juego el TTM representa un modo de acercar una teoría particularmente abstracta mediante el estímulo de habilidades metacognitivas requeridas para los aprendizajes de nivel superior tales como los que demanda el desarrollo de la enseñanza universitaria.

El prototipo online del TTM si bien constituye un avance respecto de la versión anterior requiere incluir un enlace para intercambio de sugerencias y planteo de dudas entre los autores, docentes y examinados, enriqueciendo de este modo su carácter interactivo y obteniendo información para la revisión continua del contenido y estructura.
Desarrollos posteriores del prototipo podrían incluir la ampliación de muestras, la aplicación a expertos y novatos en el dominio de la teoría triárquica y a usuarios con diferente grado de familiaridad en el uso de recursos digitales.
Estas actividades permitirían enriquecer el contenido, ajustar la secuencia, aumentar la generabilidad del recurso y facilitar el acceso a quienes se interesen o utilicen la teoría en que se fundamenta.