Global and Local Challenges for Best Practices in Assessment ha sido el leitmotiv del noveno congreso de la Comisión Internacional de Test (ITC), celebrado en San Sebastián a comienzos de julio de este año.
Allí tuve la oportunidad de compartir con diferentes profesionales y académicos los desarrollos e innovaciones más recientes que se están realizando en este campo a nivel internacional. Tras el descanso estival, me gustaría compartir algunas de las reflexiones sobre la agenda de trabajo del campo del Testing, su evolución actual y futuro inmediato.
Revisar lo tratado en el congreso me lleva a establecer cuatro grandes áreas de interés para los académicos y profesionales del campo: los Trending Topics de la Evaluación Psicométrica.
Aplicación de nuevas tecnologías en la psicometría
La aplicación de nuevas tecnologías y modelos psicométricos en el testing es un área en constante crecimiento y actualización, con aportaciones diversas y un gran potencial de impacto en nuestras prácticas evaluativas. Sin ánimo de exhaustividad y sesgado por mis intereses, mencionaré los tres puntos que considero de mayor relevancia.
- La cuestión de la seguridad en los contextos de Internet Testing y la necesidad de desarrollar procedimientos de verificación de puntuaciones, control del proceso evaluativo y seguridad de los elementos del test.
- La emergencia de nuevas habilidades relacionadas con el desempeño escolar y laboral: habilidades cognitivas para la resolución de problemas no rutinarios como el pensamiento crítico y sistémico; habilidades interpersonales como la comunicación compleja, el trabajo en equipo, la sensibilidad intercultural o la gestión de la diversidad; habilidades intrapersonales de autogestión, autodesarrollo, autorregulación o adaptabilidad; y habilidades técnicas relacionadas con investigar y recabar información.
- El desarrollo de modelos psicométricos complejos para el tratamiento adecuado de los cuestionarios de elección forzosa (Forced-Choice Questionnaires) y de las puntuaciones ipsativas (véanse los trabajos de Anna Brown), así como de los Test Adaptativos y los modelos de la Teoría de la Respuesta al Ítem para el ensamblaje automático de test (Automated Test Assembly, véanse los trabajos del profesor Win J. Van Der Linden).
Retos y oportunidades de la evaluación en contextos internacionales
Como indicó Jon Twing, la utilización de evaluaciones internacionales continúa extendiéndose con fuerza y es hoy uno de los aspectos más trabajados. Sin embargo, esta expansión ha generado una cierta magnificación de los problemas de medida asociados a este contexto que, lejos de ser insuperables, pueden ser tratados adecuadamente usando correctos procedimientos de equiparación. Asimismo, el profesor Bartram en su ponencia «Personality: Individual, Organization, Industry Sector and Country Effects» nos mostró en su ponencia cómo las normas culturales junto con las organizacionales dan cuenta de cerca de un 12% de la varianza existente en las puntuaciones de personalidad. Parece que, en estos contextos, no solo se aprecia la personalidad individual, sino también una personalidad local.
Desarrollo técnico-metodológico de la evaluación en contextos multilingües y multiculturales
¿Podemos comparar personas de diferentes culturas a través de la utilización de los mismos test? ¿Cómo podemos saber que la medida que utilizamos en una cultura es válida y relevante en otra? Los estudios de los últimos cincuenta años han dado como resultado interesantes procesos y métodos válidos para la traducción y adaptación de test y para la equiparación de puntuaciones.
Sin embargo, tal como propone la profesora Cheung la dicotomía global vs. local ha dejado de ser un paradigma útil para el testing. En este sentido, propone una perspectiva integradora en la que tanto constructos universales como locales puedan ser incluidos en la evaluación de forma que se identifiquen las similitudes culturales a la par que se respeta la diversidad. Ahondan en la cuestión los trabajos de referencia del profesor Illiescu en los que introduce el concepto de la tríada de la equivalencia en la Adaptación de Test (Test Adaptation): equivalencia lingüística, equivalencia cultural y equivalencia psicológica (incluyendo equivalencia de constructos y de medidas).
Recomendaciones para las buenas prácticas evaluativas
Los estándares y recomendaciones para las buenas prácticas evaluativas para profesionales y académicos. Creo que al respecto lo que más podría interesar al lector serán las cuatro guías sobre las que se incidió durante el congreso. Aquí están:
- Para el uso de test en general: ITC Guidelines on Test Use
- Para el uso de test vía Internet: ITC Guidelines on Computer-Based and Internet Delivered Testing
- Para la traducción y adaptación de test: ITC Guidelines for Translation and Adaptating Test
- Y para el aseguramiento de la calidad de los test: ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores
Todo esto constituye un panorama de enorme vigor, en constante actualización y crecimiento. Pero eché en falta la entrada en la agenda dos cuestiones, a mi modo de ver relevantes, como son la utilización de la información contenida en los Social Media con fines evaluativos y la utilización de las nuevas tecnologías para el desarrollo de nuevos tipos de test e ítems. En cualquier caso, no me cabe duda de que nos movemos en un entorno cada vez más permeable que bebe del desarrollo de otras ciencias. Utilizando las palabras de nuestro José Muñiz («Measuring Psychological Variables: Current Perspectivesand Future Challenges»):
El gran impulso de la evaluación psicológica viene de la convergencia de dos grandes fuerzas: por un lado, las nuevas tecnologías de la información, particularmente el progreso en las ciencias de la computación, la multimedia e Internet; y, por otro, los nuevos modelos psicométricos para el tratamiento y el análisis de los datos.
A la vista de lo anterior conviene sin duda reflexionar acerca del estado de la cuestión en nuestro país. Pero eso, para el post Evaluación Psicométrica en España.
Gracias David por comprtir los últimos avances y el «estado del arte» en evaluación psicométiirca.
Una sinopsis rica y clara, a la que no la sobra una coma, acompañada de los enlaces pertinenetes para profundizar en los puntos de interés de cada lector.
De hecho, considero que es un post intenso, de elevado interés y con suficiente profunddad como para ser el primero de una serie que bien pudieran complementarle para desgranar cada uno de los titulares abordados.
De nuevo, muchas gracias David; un trabajo muy relevante de la mano de uno de nuestros referentes nacionales en este terreno.
Muchas gracias Antonio por tu comentario !! Sin duda da ánimo para esa serie de post que propones…..en ello estamos con el estado de la cuestión en España que publicaremos en breve.
Hola amigos, tal como indicaba en mi anterior comentario ya está listo un segundo post en el que reflexionamos sobre el estado de la cuestión psicométrica en España. Os dejo aquí el enlace:
http://blog.iic.uam.es/2014/09/evaluacion-psicometrica-en-espana/