Manejo de materiales y pruebas computarizadas

Manejo de materiales y pruebas computarizadas
Conferencia Dr. Luis E. Domínguez en el Congreso Internacional Cuba, Ucateci 2018 Evaluación Psicológica, Psico-Diagnostico Psicológico Clínico & Terapia Centrada en el Cliente Manejo de materiales y pruebas computarizadas Quiero comenzar con ustedes estas reflexiones y este diálogo, más que una conferencia, con un recorrido sobre la historia de la psicometría, a lo largo de los siglos. Mi primera parada es la referencia histórica más antigua que tenemos de procesos de medición de competencias en el ámbito de los recursos humanos (¿gestión de personas?)

Pruebas computarizadas (o “informatizadas”
Quiero comenzar con ustedes estas reflexiones y este diálogo, más que una conferencia, con un recorrido sobre la historia de la psicometría, a lo largo de los siglos. Mi primera parada es la referencia histórica más antigua que tenemos de procesos de medición de competencias en el ámbito de los recursos humanos (¿gestión de personas?) La Historia

Los exámenes chinos para funcionarios
2,200 años antes de Cristo Tipos De Distrito De Prefectura De Aptitud De Provincia De la Capital Del Palacio Quiero comenzar con ustedes estas reflexiones y este diálogo, más que una conferencia, con un recorrido sobre la historia de la psicometría, a lo largo de los siglos. Mi primera parada es la referencia histórica más antigua que tenemos de procesos de medición de competencias en el ámbito de los recursos humanos (¿gestión de personas?)

Problemas: Corrupción de jueces Sólo evaluaban conocimiento de clásicos Insuficiente preparación para las tareas de funcionarios Sólo formaba generalistas, cuando se requerían especialistas A pesar de eso, permanecieron inalterables por 8 siglos, hasta su abolición en 1905

Diferencia con exámenes militares que se centraba en las destrezas de los candidatos, sus habilidades y fuerza física: Habilidad para disparar con arco y flecha tanto a pie como a caballo Doblar arcos de 40, 50 o 60 kg, levantar piedras de hasta 300 libras… No se interesaban tanto en excelencia intelectual, aunque debían escribir de memoria extractos de los clásicos militares, como Sun Tzu (El arte de la Guerra), Wazu y Suma Hace

Psicología hasta el siglo XVII
Rama de la filosofía Metodología: Introspección Considerada “Estudio del alma”

Psicología experimental: Biometría y psicometría
Siglos XVIII y XIX Francis Galton: conceptos estadísticos de correlación y regresión a la media. Funda la biometría Wilhem Wundt, “padre de la psicología experimental” y “fundador de la psicología moderna” GALTON: Con atrevimientos como: “Statistical Inquiries into the Efficacy of Prayer”,y los mapas meteorológicos Wundt: Laboratorio de Leipzig, 1879

Siglo XX Walter Frank Raphael Weldon (F. R. Weldon) y Karl Pearson (K. P.), fundan Biometrika, como 1º journal de biometría (1901) K. P. presenta el método de coeficiente de correlación, chi cuadrado, desviación tipo y la regresión lineal por el método de mínimos cuadrados

Siglo XX James McKeen Cattell: Mediciones de procesos mentales mediante aparatología, emula investigaciones fisiología y física. Introduce el término “tests mentales” Alfred Binet (1905) trabaja sobre el “test de predicción del rendimiento académico” junto con Théodore Simon, el cual dio paso al “Test Binet-Simon”

Siglo XX Binet Rechaza uso de medición de atributos físicos para determinar inteligencia (como en frenología y el método biométrico de Galton) Crea el concepto de “edad mental” y su relación con la edad cronológica William Stern (1912) Acuña el término de “cociente intelectual” como la relación EM/EC X 100 Incidentalmente es también el creador del término “fetichismo erótico” para referirse al interés sexual por objetos, como ropa, zapatos, etc

Lewis Terman Psicología experimental: Biometría y psicometría Lewis Terman Revisa la escala Binet-Simon, y la convierte en “Stanford Binet”, (una de las pruebas más usadas en los Estados Unido, por varias décadas). El concepto de CI varió de ser el cociente entre EM y EC, para convertirse en el de Cociente de desviación (aunque conservando su nombre), con media 100 y DS 15 o 10 (dependiendo del test)

Siglo XX Charles Spearman Plantea existencia de 2 factores en la inteligencia Factor G (de “General”), hereditario, varía de un individuo a otro y se mantiene relativamente estable en el tiempo Factor “S”, (de “Special”), habilidad específica de cada sujeto (probablemente fruto de educación) Localizados ambos en el cerebro Teorías basadas en el desarrollo que hace del análisis factorial

Siglo XX Louis Leon Thurstone: crítica a Spearman, y propone una visión de 7 factores: la fluidez verbal (habilidad para recordar palabras rápidamente); la comprensión verbal (habilidad para definir palabras); la aptitud espacial (habilidad para reconocer una figura cuya posición en el espacio había cambiado); la rapidez perceptiva (habilidad para detectar semejanzas y diferencias entre distintos dibujos); el razonamiento inductivo (pensamiento lógico); la aptitud numérica, y la memoria. Esto da cabida a una generación de tests basados en el análisis factorial, desde el DAT, al PMA (o AMPE), el TRD y el TRD-A…, desde el enfoque de las habilidades

Siglo XX. Siguiendo los aportes de Spearman y Thurstone Raymond Bernard Catell: Presenta modelo factorial de la personalidad (Test de los 16 factores) También habla de la inteligencia fluida (habilidad heredada para pensar y razonar en modo abstracto) y la cristalizada (que nace de la experiencia y se refiere a la culturización, educación y el aprendizaje)

Siglo XX Robert J. Sternberg: Propone concepto de inteligencia composicional, experiencial y contextual

Siglo XX Howard Gardner: Propone las “inteligencias múltiples” Verbal Lógico-matemática Visual espacial kinestésica-corporal Musical-rítmica Intrapersonal Interpersonal

Siglo XX: Pruebas complejas, que requieren auxilio de sistemas de cálculos (cómputos) avanzados 16FP, Inventario Multifásico de Personalidad de Minnesota (MMPI), el Myers-Briggs Type Indicator (MBTI) requirieron, en su desarrollo complejos procedimientos de cálculo técnicas más sofisticadas de procesamiento de datos debido a la inclusión de muestras cada vez más numerosas y dispersas geográfica, social y culturalmente

Siglo XX ¿Por qué Starke R. Hathaway y John C. McKinley, en su versión del MMPI repiten algunas preguntas? Generalmente se piensa que se debe a una escala de validación, o a un “atrapa-incautos”, para medir la coherencia… La realidad. El sistema de computadora que se estaba usando para capturar las respuestas, mediante tarjetas perforadas tipo IBM, requería un número fijo de preguntas, no disponían de suficientes reactivos probados, así que repitieron, de manera aleatoria, algunas de las preguntas del test

Relación historia de la psicometría con computadorización de pruebas
Este recorrido tiene como misión resaltar lo íntimamente ligado que ha estado el desarrollo de la medición psicológica, en especial con los tests psicométricos, al desarrollo de sistemas de cálculo matemático-estadístico Los instrumentos

Exámenes chinos y computadoras
Probablemente en los conteos y decisiones, se usaron ábacos Ábaco = primera computadora de que se tiene noticia Probablemente fue un invento chino de casi 2000 años AC: Contemporáneo con las pruebas imperiales Empleados por milenios en oriente (China y Japón), pero también sirios, griegos, romanos…

Psicología como rama de la filosofía (Hasta S. XVII)
Época cuando la psicología evita la instrumentación para la medición de las características psicológicas La fisiognomía pretende determinar el carácter de la persona a través de la observación de los rasgos faciales, pero usa criterios, algunos de los cuales se parecen peligrosamente a la quiromancia o la astrología Los estudios de Lombroso sobre el criminal nato (genéticamente predeterminado) son un ejemplo de “precariedad del uso del método científico”

La Psicología científica y la psicometría: Instrumentación
Difícil pensar en avance de la psicometría y la psicología científica, sin el recurso de unos instrumentos específicos Se requiere apoyo para la elaboración de cálculos complejos, como cálculo de parámetros (media, desviación típica, error de la media, probabilidad) y los procedimientos inferenciales avanzados (regresión, correlación, análisis factorial y sus derivados). Revisemos algunos de los más auxiliares más significativos

Regla de cálculo William Oughtred inventa la regla de cálculo en 1622 La regla de cálculo “muere” a mediados del siglo XX (1972), con la aparición de las calculadoras digitales y las computadoras HP 35, febrero 1972: Calculadora científica, considerada la “asesina” de la regla de cálculo.

Sumadoras mecánicas y eléctricas 1642, el filósofo y científico francés Pascal inventó la primera calculadora mecánica, o “Pascalina” Desde finales del siglo XIX aparecen sistemas mecánicos ingeniosos para realizar operaciones matemáticas y hasta matriciales, como el Aritmómetro Venuve Payen Calculadora Burroughs, fabricada en La primera calculadora del mundo que consiguió con éxito desarrollar un sistema para imprimir los resultados. Es de gran tamaño y peso (más de 25 kilos). Tiene paredes de cristal

Otros instrumentos de inicios del siglo XX Calculadora Brunsviga Doppel 13Z, Circa 1935, con sistema para instalar matrices de datos (sistema E-Pl) Calculadora Curta (1903) Calculadora Hamann Manus B (1925) Elegante calculadora eléctrica es un raro modelo, fabricado en Alemania en 1945 por la firma Mercedes. Se trata de una pieza muy especial: es una Mercedes-Euklid 30, una máquina que está considerada la primera calculadora eléctrica fabricada por la compañía

Computadorizar, computarizar o informatizar las pruebas psicológicas
La historia del proceso

La experiencia de “computadorizar” las pruebas psicológicas
Hitos históricos: Década de los ’40: Procesos analógicos de puntuación automatizada de tests. Strong Vocational Interest Blank (SVIB) y el Minnesota Multiphasic Personality Inventory (MMPI) Se limitaban a calcular las normas y a convertir PB en PN Años ’50: Primeras experiencias de aplicación de hojas electrónicas y OCR (Optical Character Recognition = Lector de marcas ópticas) Lectores ópticos para capturar las respuestas del sujeto. El uso se centra en la corrección masiva de pruebas, y el uso de las costosas computadoras disponibles para procesos de investigación psicométrica (normas o baremos, análisis factorial, análisis de validez y confiabilidad…) Años ’60: Desarrollo de sistemas automatizados de interpretación de tests, como el 16FP, California Psychological Inventory, Rorschach y WAIS. Los sistemas reproducen los pasos que sigue el personal psicómetra para la obtención de las puntuaciones directas (emula las plantillas), la conversión a puntuaciones normativas, el cálculo de escalas derivadas (factores secundarios, por ejemplo). Se inicia el intento de generar reportes computadorizados.

La experiencia de “computadorizar” las pruebas psicológicas: Hitos Históricos
Década de los ‘40 Procesos analógicos de puntuación automatizada de tests. Strong Vocational Interest Blank (SVIB) y el Minnesota Multiphasic Personality Inventory (MMPI) Se limitaban a calcular las normas y a convertir PB en PN

Década de los ‘50 Primeras experiencias de aplicación de hojas electrónicas y OCR (Optical Character Recognition = Lector de marcas ópticas) Lectores ópticos para capturar las respuestas del sujeto. El uso se centra en la corrección masiva de pruebas, y el uso de las costosas computadoras disponibles para procesos de investigación psicométrica (normas o baremos, análisis factorial, análisis de validez y confiabilidad…)

Década de los ‘60 Desarrollo de sistemas automatizados de interpretación de tests, como el 16FP, California Psychological Inventory, Rorschach y WAIS Los sistemas reproducen los pasos que sigue el especialista para obtener: Puntuaciones directas (emula las plantillas) Conversión a puntuaciones normativas Cálculo de escalas derivadas (factores secundarios, por ejemplo) Se inicia el intento de generar reportes computadorizados.

Década de los ‘70 Primeras experiencias sobre la aplicación informatizada MMPI es pionero en presentar las preguntas por pantalla, para que puedan ser respondidas Lo siguen el Eysenck Personality Inventory y el 16FP Sigue siendo una reproducción del proceso manual que realiza quien aplica y corrige manualmente los tests.

Década de los ‘80 Explosión exponencial de tests ofertados en forma computadorizada, en los contextos clínicos, organizacional, forense y escolar. Se informatizan tests proyectivos (Rorschach, Baum Test)

Década de los ‘90 Internet “arrasa” con los paradigmas conservadores de todas las áreas del quehacer humano, incluyendo, por mucho, todo lo relativo a los tests. El proceso de informatización pasa por etapas: Captura de datos masivos y puntuación de las pruebas Corrección de las pruebas y elaboración de informes descriptivos: Resultados en las diferentes escalas con indicación de lo que esa escala significa, psicológicamente. Intentos de generar informes consultivos, donde se interrelacionan resultados de diferentes escalas. Se acerca a lo que un experto en la prueba redactaría como informe final.

Siglo XXI Los tests evolucionan y se informatizan a ritmo exponencial La mayor parte de los tests se encuentran disponibles en sitios oficiales (y no) en la Web Pruebas computadorizadas son una entidad autónoma, y se están desprendiendo de la concepción de simple emulación de los procedimientos manuales de corrección Sistemas de reporte de las pruebas migran hacia patrones más complejos, a través de procesos heurísticos, donde el ordenador intenta la construcción de conocimiento y la integración holística de la información disponible (Procesos de IA)

Al momento, ¿qué es una prueba informatizada?
(“al momento” porque las cosas cambian demasiado rápido) Una prueba se considere informatizada cuando cumple dos requisitos: Se conocen los parámetros psicométricos de los ítemes que la componen Kos ítemes se presentan, se responden (y se procesan) a través de una computadora Se distinguen dos tipos: Pruebas fijas informatizadas. Los ítemes se presentan en el mismo orden a todas las personas, tal cual aparecen en el cuadernillo original de la prueba Pruebas adaptativas informatizadas, donde los ítemes que se presentan dependen de las características de quien se evalúa

Pruebas informatizadas: Ventajas
Mejora la estandarización de la aplicación de la prueba (Instrucciones, control de tiempo, control de errores y rapidez en la corrección, control de copia y transmisión de información a terceros…) Puede aplicar complejos procesos, como los requeridos bajo modelos de Teoría de Respuesta al Ítem (TRI) Resultados y comparaciones de sujeto – grupo obtenidos de forma inmediata Permite (imprescindible) la presentación de nuevos formatos de ítemes (visuales, auditivos, simulaciones de video…) Permite nuevos sistemas de corrección de las respuestas, en forma inmediata, sobre la ejecución de tareas concretas y complejas. Requieren menos tiempo para respuesta. Se ha demostrado que es más rápido teclear una respuesta, que realizar una marca o escribir sobre papel Se reducen costos de aplicación (personal aplicador, material gastable como cuadernillos y hojas de respuestas…)

Pruebas informatizadas: Desventajas o puntos que requieren atención
No hay una equivalencia absoluta entre los resultados de pruebas por computadora que en las clásicas: Las puntuaciones medias pueden variar (puntuaciones más altas en los tests de papel y lápiz, en algunos casos, en los informatizados en otros), los tests de velocidad pura y los mismos tests de efectividad se contestan más rápido por computadora Para las pruebas de habilidades, aptitudes y neuropsicológicos, es necesaria una normatización de los resultados obtenidos por pruebas informatizadas, no así para los de personalidad

Pruebas computadorizadas: Tests Adaptativos
Son la nueva generación de tests Pruebas generalmente basadas en la Teoría de Respuesta al Ítem (TRI) Ítemes seleccionados y presentados con base en el nivel estimado de dominio de la habilidad medida del sujeto El test NO es una estructura fija en cuanto a cantidad de ítemes a presentar: depende de parámetros del nivel estimado de competencia de la persona y sus respuestas a los reactivos que se le presentan. El computador presenta reactivos seleccionados de un banco, previamente calibrados mediante la TRI Cada reactivo contribuye con información sobre la capacidad de quien responde en el dominio bajo examen Se presentará la cantidad justa requerida para determinar el nivel de habilidad de cada persona evaluada (dominio del contenido, nivel de competencia) Reducirá drásticamente cantidad de preguntas y tiempo de evaluación Evitará someter la persona a preguntas que están más allá de sus capacidades También evita el aburrimiento de preguntas demasiado sencillas para su nivel Personas con iguales niveles de competencia pueden ser evaluados con ítemes diferentes, pero sus resultados serán totalmente equiparables

Tests informatizados vía Web: Ventajas
Los algoritmos de presentación y corrección se conservan centralizados: Cualquier modificación en estos, se reproduce al instante en todos los puntos de usuarios Los datos producidos se almacenan en un reservorio central, lo que permite actualización inmediata y constante de las normas (baremos) de las pruebas, así como de los parámetros tanto de la TRI, como de la Teoría Clásica de los Tests (TCT) Los resultados se obtienen de forma inmediata, y se puede retroalimentar, también inmediatamente, en el caso de pruebas de rendimiento académico o semejantes Beneficios logísticos: Una mayor accesibilidad de los evaluandos a las pruebas, que pueden ser contestadas en el momento más oportuno para la persona Mayor seguridad para los editores, que no tiene que suministrar las plantillas ni los algoritmos de corrección.

Tests informatizados vía Web: Puntos a reflexionar
No se conoce la calidad de muchos de los tests que se ofrecen vía Web, y es difícil discriminar entre instrumentos científicamente validados de los que son meros pasatiempos Falta de seguridad en las pruebas, sobre todo cuando los resultados serán usados para toma de decisiones cruciales para quien responde (selección de personal, pruebas académicas de promoción…). Las posibilidades de fraudes por consultas externas aumentan enormemente, sin que existan mecanismos válidos de control. En el mismo tenor, aumentan las posibilidades de suplantación de la identidad de quien contesta. Sesgos tecnológicos. Para los tests donde la velocidad (o el tiempo de respuesta) son cruciales, los disturbios de la red, el ancho de banda disponible y otros factores puede poner en serias condiciones de disparidad a diferentes usuarios, independientemente de sus niveles de habilidad. Figurémonos un apagón en el medio de una aplicación de un TRD-A… (Ver los lineamientos de la International Test Commission (ITC), respecto a las pruebas entregadas vía Internet en )

Tests informatizados vía Web: Una posición profesional y personal
Por regla general, y por criterios éticos, profesionales y técnicos, nos oponemos a que las pruebas de selección de personal y de medición de características que son críticas para quien se evalúa (promoción académica o laboral, investigación forense), se realicen libremente en línea, sin supervisión. La práctica de enviar un enlace (“link”) a los aspirantes a cargos la consideramos inapropiada, al momento actual de la tecnología y conscientes de las características de nuestra población.

Historia de mi experiencia Dominicana en la computarización de las pruebas psicométricas
Mi visión de la historia de la informatización de las pruebas en RD

Premisas para mi interés en computarización de pruebas
Desde siempre fuerte interés por los tests, la psicometría y la investigación. (Detonantes para abandonar la medicina en pos de la psicología. Interés por la electrónica, la tecnología, los nuevos inventos… Haragán: Me gusta la ley del menor esfuerzo, usar atajos para evitar tareas rutinarias y repetitivas [¡capaz de pasarme 15 minutos rebuscando para encontrar dónde dejé un destornillador eléctrico, para poner un tornillo sin tener que darle vuelta a un destornillador manual, lo que me hubiese tomado menos de tres minutos!) Gusto por la innovación, las novedades científicas y técnicas. Necesidad de iniciar mi práctica profesional como psicólogo clínico y escolar, y emplear los tests en diferentes fases de mi trabajo en una y otra área.

Procesamiento de mi tesis de doctorado
Investigación del concepto de autodeterminación en jóvenes, comparando adolescentes en 1977 con quienes eran adolescentes en 1968 (mayo francés) Se procesó en una IBM que ocupaba un edificio de 4 plantas Uso de tarjetas perforadas Tenían que ser leídas en un piso e ir a buscar los resultados dos pisos más arriba: ¡Nada de pantallas ni visores! Cuando aparecía un error había que revisar o reperforar tarjetas.

Procesamiento de mi tesis de doctorado
Usé el SPSS por primera vez Además coeficientes de correlación y de regresión, el análisis factorial, con rotación Varimax. El proceso duró ¡en solamente tres días de trabajo! ¡Era algo mágico y fascinante!, aunque luego tuve que volver a hacer muchos de esos cálculos a mano.

Primera experiencia en programación de tests
Inicio profesional en 1977 en RD, con necesidad de aplicar y corregir tests como 16FP, Kuder y otros Calculadora programable TI 57, con 8 memorias y 50 pasos programables Programación de cálculo de factores de 2do orden del 16FP Lentitud en la entrada de datos, salida con poca información para el usuario, y, lo peor, si mi hermano necesitaba escribir un programa, tenía que borrar el que yo había hecho

Segunda etapa: Calculadoras programables con memoria magnética
960 pasos de programación Guardar, en unas tarjetitas magnéticas, esos Podía desarrollar programas con más de los 960 pasos, mediante encadenamiento de varias tarjetas Se le adaptaba una impresora de papel térmico, donde podía lograrse la salida Se programaron tests como el MMPI, 16FP, KUDER, y otros que se usaban en el proceso de orientación vocacional del Colegio de la Salle de Santiago

Segunda etapa: Calculadoras programables con memoria magnética
Se hicieron algunos cálculos de normas de tests Lenguaje de programación semejante al lenguaje de máquina Soportaba programación lineal, condiciones, bucles lógicos… En fin, era una máquina calificada como “Turing completo”

Siguiente paso: TRS-80 PC-2
Migración hacia una PC… No una “personal computer”, sino la Tandy Radio Shack Pocket Computer. Real computadora ¡3K de memoria! (expandibles a 10K) Programable en BASIC Capacidad de adaptarle impresora tipo plotter de 4 cuatro colores Capacidad de grabar y leer datos desde una cinta de casete Se programaron todos los tests de orientación vocacional del Colegio de La Salle y se daba servicio de corrección de pruebas a la comunidad psicológica de Santiago, de inicios de los ’80 Con este equipo se inició el proceso de entregar a los estudiantes de 4º año de bachillerato los resultados de sus pruebas vocacionales (Kuder, D-48, PMA y 16FP), en 5 días a partir de la fecha de aplicación de los tests, en vez de los dos a tres meses que se tomaba con la corrección manual.

Ejemplos de programación y salida de la TRS PC-2

Revisión e investigación sobre tests en RD 1980
Se comenzó a revisar el “arsenal” psicométrico de la República Dominicana Se detectaron numerosos tests que estaban siendo usados ampliamente sin normas apropiadas, con severos errores en plantillas de corrección Caso Kuder, en Santiago, donde las plantillas se copiaron de las de una Universidad, pero solamente se consideraron la mitad de las respuestas, y, aún en el caso que una persona contestase en la dirección crítica TODAS las preguntas de la escala de Servicio Social, por ejemplo, su calificación era de “No le interesan actividades de SS”

Nacimiento de EPSI y su compromiso con el desarrollo y la garantía de calidad de los tests
En el 1982, una noche, el Psicólogo Manuel Ben, mi entrañable amigo, se presentó a mi casa y me propuso la idea de un servicio especializado en tests psicológicos y evaluación. De ahí surge la idea de EPSI, quien se convirtió en el repositorio de todas nuestras “locuras” y ensoñaciones, especialmente en el campo de la psicometría

Con EPSI surgen acciones como:
Nacimiento de EPSI y su compromiso con el desarrollo y la garantía de calidad de los tests Con EPSI surgen acciones como: Revisar las versiones de la serie de pruebas de Psicología Industrial Venezolana (PIV) que circulaban en ese entonces, y actualizarlas con las últimas versiones Introducir, adaptar y difundir la versión “C” del 16FP. La usada, en ese entonces en RD, era la “E”, la versión dominicana realizada por José Vicente Díaz de la forma “A” del test, con 187 preguntas, contra las 105 de la forma “C”. Revisar y adaptar el material de los tests, que seguían siendo fotocopias de fotocopias… En esta parte fueron imprescindibles los trabajos que había realizado la Psicóloga Dioda Reyes de Olivo, que desde la entonces UCMM, había realizado estudios de normalización y adaptación del Kuder, el 16FP, el Test de Valores y la EHAE.

La aparición de las PC y su impacto en los tests en RD
2ª mitad de los ’80: introducción de las computadoras personales, facilitadas, en precios y accesibilidad por las Tandy serie 1000, de Radio Shack Funcionaban con discos flexibles (“Floppy disk”) de 8”, luego de 5 ¼ y, por último, los semiflexibles de 3.5” 2MB RAM Normalmente sin disco duro, o discos duros externos, muy costosos Recuerdo que en un viaje a Ecuador, en un instituto de investigaciones médicas, me mostraron un disco duro externo de 15 MB, y me dijeron, muy horondo, “Aquí cabe TODA la información de República Dominicana”

La aparición de las PC y su impacto en los tests en RD
Estas innovaciones, junto con la disponibilidad de impresoras matriciales dio un gran impulso a la informatización de las pruebas, que siguieron siendo la emulación del proceso manual de corrección de estas

La aparición de programas de corrección de múltiples tests
Hasta el momento, los softwares para corregir, interpretar y reportar los tests, realizados por EPSI, se referían a un tests específico: Cada programa era una prueba A partir del 1988 se inicia la elaboración de programas que contemplaban la corrección de varias pruebas, generalmente relacionadas con procesos como orientación vocacional o selección de personal Así se desarrollaron el CADRABEK (CAPA, D-70, RAVEN, BEDER y KUDER) y el BATERIA (16FP, D48, PMA y KUDER), el OTCPSPMA (OTIS, CPS D48, 16P y PMA).

Ventajas de los programas de corrección de tests
A principios de los años ’90 se hizo una prueba con super especialistas de RRHH de una gran empresa dominicana. Se trataba de medir la velocidad con que estos especialistas podían corregir un 16FP de forma C, y compararla con la de un clon (que hacen su irrupción a finales de los ’80) y un programa de corrección de los resultados del test. Se partía del momento en que ya se le habían aplicado las plantillas y se tenían las PB, pero sin la corrección por DM. La especialista que menos tardó en tener un resumen de los resultados, tanto en los factores e 1º orden, como en los de 2º orden, tardó casi 30 minutos con un solo caso. El lento clon hizo lo mismo e imprimió un ordenado informe en unos 20 segundos. Hoy día, es prácticamente imposible medir ese tiempo que de diezmilésimas de segundos.

Los “Grandes Sistemas” de informatización de pruebas
El SCCPP: Primer sistema computadorizado totalmente dominicano Programado con concepto modular Emulaba el proceso propuesto por la batería PIV, en su forma original. Permite, además de las funciones de entrada, edición, consulta y reporte de casos : Definir grupos de empleos (familias) que comparten características comunes, como son los tests a emplear y las puntuaciones estandarizadas máximas y mínimas que podrían obtener

Otras facilidades del SCCPP: Crear el sistema de entrada y de corrección de nuevos tests Hacer listados de tests integrados al sistema y de sus características Crear archivos especiales de las puntuaciones brutas o normalizadas, con fines normativos o investigativos Agregar o eliminar tests dentro del listado de pruebas que puede manejar el programa. Hacer copias de seguridad de los datos, exportar resultados a otros sistemas…

El sistema desarrollado totalmente en RD, bajo MS-DOS, con la plataforma de QBasic (Quick Basic) de Microsoft, precursora del Visual Basic Se desarrollaron librerías de procedimientos que implicaron escribir líneas de códigos completas, sin recurrir a paquetes o librerías pre-elaboradas Entradas de librería sumamente flexibles, y podían definirse tamaño, color, contenido y comportamiento de las pantallas.

Rápida y amplia aceptación en el mercado dominicano. En poco tiempo, la mayor parte de las instituciones bancarias del país, las principales industrias, muchas instituciones oficiales, servicios de apoyo psicológicos e instituciones educativas adquirieron el sistema Facilidad de empleo (“a prueba de tontos”), su versatilidad y su robusteza frente a las situaciones clásicas de nuestra sociedad de los ’90: Apagones o suministro inestable de energía, mal manejo de los usuarios, cambios en el personal responsable de utilizar el sistema El programa estuvo, desde sus inicios en el 1992, listo para enfrentar el llamado “Efecto 2000”, que se pronosticaba como una catástrofe mundial cuando se produjese, por el manejo que tenían las computadoras de entonces, de las fechas, con los años expresados con solamente dos dígitos.

Desarrollo de la informatización en la segunda mitad ‘90
Retiro de la programación de la “vieja generación”, a favor de jóvenes académicamente formados en informática Sustitución de la plataforma MS-DOS por Windows Transferencia de los algoritmos desde Qbasic a Access y a Visual Basic El SCCPP es sucedido por la Batería de Pruebas Psicométricas (BATPSICO) Es importante recalcar que todo el desarrollo del SCCPP y los programas que lo antecedieron o que “nacieron” a partir de la librería de procedimientos que se desarrolló para este, fueron realizados por un programador autodidacta, sin formación académica en ingeniería de sistemas (si no se cuentan dos semestres en la carrera, cuando siendo docente de psicología de la ya PUCMM, intentó cursar esa carrera, para abandonarla por presión en sus otros trabajos, y algunos cursos breves de Basic y Fortram), y sin conocimientos formales de los sistemas de programación y apoyos de la plataforma de Q-Basic.

BATPSICO: Cambios con respecto al SCCPP Ambiente Windows, que permitía el acceso a los cambios de periféricos (impresoras USB y en red, diferentes tipos de equipos…) Nueva generación de programas que, aunque mantienen la lógica seguida por el SCCPP, se vuelven más versátiles y ágiles; así como admiten innovaciones en una manera más simple El ambiente bajo Windows hizo que se pudiese enfrentar exitosamente problemas como la aparición de impresoras seriales, en redes y luego USB, que el SCCPP no manejaba (se limitaba a enviar su salida al LPT1, y para usar USB requería de una emulación de puerto, que no todos los clientes sabían manejar).

Desarrollo de pruebas específicas Incluye la investigación para desarrollar los reactivos, la normatización de la prueba, la elaboración de manual, plantillas, hoja de respuestas, cuadernillos de preguntas y software de corrección Hecho “a la medida” de las instituciones solicitantes. Algunos ejemplos: Test de atención al cliente y potencial de ventas (TACPV), BANRESERVAS, 2002 Prueba de Vocación de Servicio y Orientación a las Ventas (PVSOV) Grupo Financiero Nacional (SEGMA, BANCRÉDITO, TRICOM), 2002 Prueba pronóstico eficiencia de personal (PPER) para HANES Caribe, 2003 Grupo Ramos Prueba de Actitud Para el Servicio (GRAPAS), Grupo Ramos, 2005 Factores de personalidad asociados a conductas delictivas, (Varias instituciones del estado que debe seleccionar personal de alta seguridad), 2007

Un sistema realmente informatizado
En el 2004, el Instituto Tecnológico de Las Américas (ITLA) solicitó a EPSI el desarrollo de un sistema de evaluación, donde los aspirantes a ingreso al ITLA pudiesen tomar las pruebas directamente vía el computador, y que estas fuesen inmediatamente corregidas y reportadas. ITLA posee la infraestructura requerida (disponibilidad de terminales, servidores, redes internas…), por lo que se desarrolló el sistema, con la inclusión de las pruebas Aptitudes Básicas de Informática (ABI), Wonderlic, TRD-A y 16FP. El sistema en una plataforma SQL Server. Los ítemes de las pruebas se convirtieron en bases de datos textuales y gráficas, dependiendo del contenido, y se presentan con el control de tiempo requerido por cada prueba y subprueba El ITLA sigue usando ese sistema, 14 años después de desarrollado.

Apoyos “ligeros” a los procesos de corrección de tests
Para fines didácticos y docentes, se han desarrollado hojas de Excel que permiten hacer correcciones rápidas de los tests EPSI se ofrece, de manera gratuita a estudiantes (y docentes) de Psicología, Orientación y afines sencillos instrumentos, que permiten manejar un solo caso a la vez

2018 Sistema Utilitario Won-D70-TRDA y RAV.xlsx Permite introducir las puntuaciones directas y los datos de identificación (edad y sexo, principalmente) y obtener una corrección con interpretación reducida de los tests Wonderlic, D-70, TRD-A y RAVEN. Usa normas dominicanas actualizadas al 2012, por lo menos, y algunas del 2016

Corrección 16FP para estudiantes.xlsm. Ingresa las puntuaciones directas del 16FP-C (sin corrección por DM), la hoja calcula inmediatamente la puntuación normalizada, aplicando la corrección por DM. Al ejecutar una macro inserta en el libro de Excel, se realiza la interpretación de los factores de 1º y de 2º orden (16 y 12 factores, respectivamente), así como se señala el nivel de distorsión motivacional de la persona

Tip Grama.xls. Es una sencilla hoja que permite hacer la evaluación de la prueba “Test de Inteligencia para Primaria”, desarrollada por EPSI, y calcular el Tipgrama, así como el diagnóstico general de la prueba. Se introduce la puntuación obtenida en cada uno de los 31 ítemes del test.

“Back to the future…” Los proyectos en curso y futuros

Proyecto de sistema de promoción y selección adaptativo
Magno proyecto de pruebas adaptativas en selección y promoción de personal, para una institución estatal Parte de la definición de las competencias para cada puesto, los factores que las conforman y los indicadores cognoscitivos, actitudinales y de habilidades (indicadores CAH) Generación de tablas de especificaciones para cada área a evaluar Elaboración, a través de un módulo informatizado y disponible en línea solo para los especialistas autorizados

Módulo desarrollo de ítemes permite: Codificar el ítem, en función del aspecto a que se refiere y a los cargos en los cuales se puede utilizar Indicar la clave u opción correcta. Esto tampoco es restrictivo, y el constructor puede ponderar las opciones para que exista una “mejor”, pero que también presente otras opciones válidas, no tan “buenas” Indicar si el orden de las opciones puede ser alterado en la presentación del ítem. Si puede ser alterado, el programa de presentación puede presentar el mismo ítem a diferentes personas, con las opciones en orden diferente (conserva la información de cuál de ellas es la correcta) Indicar si el ítem es apropiado para promoción interna de empleados de la institución, que se supone tienen conocimientos específicos sobre el área a que aspiran promover; o es para reclutamiento externo, donde la persona debe tener conocimientos y habilidades generales, pero no las específicas en el desempeño del cargo y que son las que adquirirá en el trabajo. Indicar una apreciación, por juicio de experto, de la dificultad del ítem.

Motor subyacente en el sistema Algoritmos que responden a la TRI, e incluye novedosos procedimientos de apreciación del nivel de inicio de las habilidades de la persona en el contenido que se evalúa, así como los procedimientos de cálculo para remontarse desde los factores constitutivos a las competencias complejas requeridas. Los módulos de administración permiten: Dar mantenimiento al sistema, sea de forma local como remota Revisar, agregar o eliminar ítemes Obtener estadísticas de proceso Realizar validación del poder pronóstico de los ítemes, con base en criterios externos al sistema (evaluación del desempeño, por ejemplo Elaborar los reportes técnicos y administrativos requeridos por la institución.

Proyectos para el futuro (a corto plazo)
El futuro cercano de la evaluación computadorizada en RD parece ser muy promisorio, sobre todo por la presencia entre nosotros de jóvenes talentos que muestran grandes habilidades en el campo de la informática y de las estadísticas psicométricas avanzadas. Actualmente se están considerando los siguientes sistemas:

Un sistema de orientación profesional que se desarrolla en tres etapas consecutivas: Informatización de la aplicación de las pruebas, bajo criterios clásicos, como pruebas fijas informatizadas. Con base en los datos recabados por las aplicaciones de pruebas durante un período, que permite recabar los parámetros de cada ítem, se transformarán las pruebas fijas en pruebas adaptativas. Los análisis de componentes principales, estudios de regresión múltiple y otras pruebas, permitirán desglosar las pruebas clásicas en categorías conceptuales que contribuirán a definir “testlets”: pequeños tests con una gran carga de información, con relación a los elementos relevantes en los procesos de orientación profesional. El tercer paso es la “gaminficación” de los reactivos relevantes: Desarrollo de videojuegos, centrados en la solución de problemas o en la toma de decisiones pertinentes a la orientación profesional y la construcción del plan de vida de adolescentes del sistema educativo (Gamificación es un acercamiento al neologismo “gamification”: es el uso del diseño y la mecánica del juego para mejorar los contextos que no son de juego aumentando la participación, el compromiso, la lealtad y la competitividad. Algunos prefieren “ludificación”)

Otro proyecto a corto plazo: Un sistema semejante al descrito para orientación vocacional, dirigido a los procesos de selección de personal, donde las pruebas tradicionales se conviertan en pruebas adaptativas paulatinamente “gamificadas”.

El eterno dilema: ¿Sustituirá la máquina al ser humano?
Reflexiones finales

¿Sustituirá la máquina al ser humano?
Nuestra idea, junto con la de muchos pensadores como Carlos Gershenson, Mariano Usuga Manco o Raúl Rojas, es que absolutamente no, aunque otros (Steve Wozniak, Stephen Hawking y Elon Musk) piensan lo contrario.

Nuestra idea es que la realidad tecnológica sí cambia, y cambia exponencialmente, obligándonos a un proceso adaptativo mucho más rápido que para lo que biológicamente estamos preparados. Circuló en las redes este mensaje (no está todo el contenido):

Algo está cambiando... Spotify está fundiendo a las discográficas. Netflix hizo que ya casi no queden videoclubs y que vaya mucha menos gente al cine. Booking tiene en jaque a las agencias de turismo. Google inutilizó a las Páginas Amarillas. Airbnb está atemorizando a los dueños de los hoteles. Whatsapp amenaza a operadores de telefonía fija y celular. Las Redes Sociales a los medios de comunicación. Uber a los taxistas. Los Smartphones condenaron a las casas de fotografía. Tesla pone en duda el futuro de las automotrices. El complicó a los correos postales. Waze acabó con los GPS. La Nube hace cada vez más inútiles a los Pen drives; Youtube pone en riesgo a las empresas de televisión. Facebook está matando a los portales de contenido. Tinder (y similares) quita mercado a las discotecas (y similares). Wikipedia mató a los diccionarios y enciclopedias. ¿Cuánto tiempo piensas que va a durar tu empleo en su forma actual? ... ¿y quieres seguir viviendo como vivías hace 10 años?

Hay una profunda reflexión sobre el tema en un blog sobre “¿La tecnología podría reemplazar al hombre?” en o en que llaman a reflexionar sobre el hecho de que máquinas y programas fueron hechos por el humano, y es este quien las controlas. Lo que sí es cierto es que las visiones apocalípticas de Asimov, George Orwell y otros no se han cumplido, y depende de nosotros que no lo hagan. Como las armas, la tecnología, de por sí, no es “buena” o “mala”: es el uso (o el mal uso) de ella lo que la hace o no ética y humana.

Mi reflexión final es que las computadoras no tienen por qué sustituir al ser humano, sobre todo en el campo de la psicología y la psicometría: Dominemos nosotros a la tecnología y no dejemos que ella nos domine a nosotros

Manejo de materiales y pruebas computarizadas

Presentaciones similares

Presentación del tema: "Manejo de materiales y pruebas computarizadas"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

Manejo de materiales y pruebas computarizadas

Presentaciones similares

Presentación del tema: "Manejo de materiales y pruebas computarizadas"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback