Según el reglamento del Parlamento Europeo, que entrará en vigor en 2026, la respuesta a la pregunta que encabeza este artículo es SÍ. Pero hay algunas condiciones que deberemos cumplir.
Con la ayuda de Claude 3.5 Sonnet hemos elaborado el siguiente documento al que deberemos prestar mucha atención en el futuro.
Guía de cumplimiento del reglamento (UE) 2024/1689 para el uso de IAs generativas en evaluación educativa
Esta guía está diseñada para profesores de primaria y secundaria que utilizan herramientas de IA generativa (como ChatGPT o Claude) en procesos de corrección y evaluación. Se basa en los requerimientos del reglamento europeo de IA.
1. Clasificación del caso
El uso de IAs generativas para evaluación está clasificado como «alto riesgo» porque:
Impacta en calificaciones académicas y progresión educativa, ya que puede determinar el futuro académico del estudiante.
Afecta a menores de edad, un grupo especialmente protegido por la legislación.
Influye en decisiones educativas importantes, lo cual puede determinar itinerarios formativos y afectar el desarrollo educativo a largo plazo.
2. Obligaciones del profesorado
Se describen las responsabilidades clave del profesorado al usar IA, asegurando una correcta implementación y la trazabilidad del proceso evaluativo.
Responsabilidades principales
Informar explícitamente sobre el uso de IA a todos los implicados y mantener registros detallados de la metodología aplicada.
Asegurar que la decisión final siempre sea del profesor, utilizando la IA solo como herramienta de apoyo y justificando cada calificación con criterios propios.
Adaptar el uso según el nivel educativo y la madurez del alumnado, personalizando la metodología según las características individuales del estudiante.
Poder justificar cada calificación independientemente de la IA, fundamentar evaluaciones con criterios propios.
Documentación requerida para asegurar la trazabilidad de los resultados
Prompts utilizados y sus modificaciones, incluyendo un registro detallado de todas las instrucciones dadas a la IA.
Registro de correcciones a evaluaciones erróneas de la IA y del proceso de verificación de sugerencias para garantizar su validez.
Criterios de evaluación empleados, con los estándares utilizados para cada tipo de evaluación.
Registro del proceso evaluativo que asegure poder justificar la evaluación.
Sistema de comunicación con familias, incluyendo procedimientos para informar del uso de IA, y registro de incidencias y soluciones aplicadas.
3. Protección de datos
Esta sección aborda cómo proteger los datos personales de los estudiantes, asegurando el cumplimiento de las normativas de privacidad.
No copiar textos completos con datos identificables y no compartir información personal de estudiantes, manteniendo siempre la confidencialidad.
Anonimizar todos los textos antes de introducirlos en la IA y usar solo la información estrictamente necesaria para la evaluación, siguiendo el principio de minimización de datos.
Mantener registros seguros y confidenciales, prestando especial atención a la privacidad de los menores debido a su vulnerabilidad.
4. Supervisión humana
Se enfatiza la importancia de que el profesor mantenga el control y supervisión sobre las decisiones tomadas con la ayuda de la IA.
Revisar cada sugerencia de la IA y priorizar siempre el criterio profesional docente, garantizando la autonomía y la equidad en el proceso de evaluación.
Documentar todas las modificaciones realizadas en las evaluaciones y garantizar la equidad en el proceso, asegurando el mismo trato para todo el alumnado.
5. Transparencia
Describe cómo informar de forma clara a los diferentes actores involucrados sobre el uso de la IA en la evaluación educativa.
Informar a estudiantes, padres o tutores, dirección del centro y equipo docente sobre el uso de IA, adaptando la información al nivel de comprensión de cada grupo.
Explicar claramente el papel de la IA en el proceso de evaluación, las áreas evaluadas, y las garantías de equidad aplicadas, incluyendo el proceso de apelación disponible.
6. Sistema de reclamaciones
Se detalla un sistema de reclamaciones que permite a estudiantes y familias solicitar revisiones o correcciones de evaluaciones realizadas con IA.
Revisión de evaluaciones, debe determinarse un procedimiento claro de revisión.
Solicitud de corrección humana, debe existir la opción de evaluación sin IA.
Apelación de decisiones, se determinará el proceso formal de reclamación.
Acceso a criterios de evaluación, que deben ser conocidos, transparencia en estándares.
7. Elementos clave del proceso evaluador
Se listan los elementos fundamentales para garantizar un proceso de evaluación justo, transparente y trazable al utilizar IA.
Garantía de objetividad y equidad, trato justo para todo el alumnado.
Trazabilidad de las decisiones, registro del proceso evaluativo.
Protección de datos del alumnado, confidencialidad garantizada.
Supervisión humana constante, control docente del proceso.
Comunicación clara con familias, información transparente.
Posibilidad de revisión y apelación, derecho a reclamación.
Registro sistemático de procesos, documentación completa.
Documentación de criterios aplicados, transparencia en la evaluación.
8. Uso prohibido y limitaciones de la IA
Para asegurar el cumplimiento con los valores y derechos fundamentales de la Unión Europea, quedan prohibidas las siguientes prácticas relacionadas con el uso de la IA en evaluación educativa:
Manipulación del comportamiento del estudiante: Está prohibido cualquier uso de la IA que tenga como objetivo alterar de manera sustancial el comportamiento del alumnado sin su conocimiento o consentimiento informado.
Puntuación basada en datos sensibles: No se permitirá el uso de datos sensibles (como raza, orientación sexual, religión, opiniones políticas, etc.) para realizar evaluaciones o categorizaciones automáticas que puedan afectar la trayectoria educativa del alumno.
Decisiones automatizadas sin supervisión humana: No se deben utilizar evaluaciones generadas automáticamente sin la revisión y validación de un profesor. Las decisiones finales siempre deben estar mediadas por un ser humano.
Utilización de IA para clasificaciones discriminatorias: Está estrictamente prohibido cualquier tipo de clasificación o puntuación que pueda ocasionar un trato desigual o discriminatorio de los alumnos, directa o indirectamente.
Uso de IA sin trazabilidad y documentación: El uso de herramientas de IA en el proceso evaluativo debe ser completamente transparente, debiendo documentar cada interacción con la IA, incluyendo los prompts utilizados, modificaciones realizadas y justificación de cada decisión.
Falta de opción de evaluación alternativa: Debe ofrecerse siempre una alternativa de evaluación sin IA a cualquier estudiante o familia que lo solicite, asegurando así el derecho a una educación sin intervención automatizada.
9. Lista de verificación diaria
La lista de verificación diaria tiene como objetivo ayudar a los docentes a asegurar un uso responsable y efectivo de las herramientas de IA en los procesos de evaluación. Incluye una serie de pasos antes, durante y después del uso de la IA para garantizar la transparencia, equidad y adecuación de las evaluaciones.
Antes de usar la IA:
☐ ¿He anonimizado el contenido? Eliminación de datos personales.
☐ ¿Tengo claros los criterios de evaluación? Definición previa de estándares.
☐ ¿He documentado el proceso? Registro del procedimiento.
☐ ¿Es apropiado para la edad/nivel del estudiante? Adaptación al desarrollo.
Durante el uso:
☐ ¿Estoy verificando cada sugerencia? Revisión activa de propuestas.
☐ ¿Mantengo registro de modificaciones? Documentación de cambios.
☐ ¿Puedo justificar cada decisión? Fundamentación de evaluaciones.
☐ ¿Las evaluaciones son apropiadas para el nivel? Ajuste al desarrollo.
Después del uso:
☐ ¿He guardado la documentación necesaria? Archivo de evidencias.
☐ ¿He informado a los afectados? Comunicación de resultados.
☐ ¿El proceso es apelable? Posibilidad de revisión.
☐ ¿La retroalimentación es adecuada para la edad? Feedback apropiado.
Nota final
Esta guía debe actualizarse según modificaciones del reglamento y directrices específicas de cada centro educativo. Se recomienda una revisión periódica para asegurar el cumplimiento y la adaptación a las necesidades de cada etapa educativa.
Pódcast del artículo
El siguiente pódcast generado por IA, explica el contenido del artículo.
Cuando le pedí a ChatGPT su opinión sobre el contenido de este artículo, definió algunas secciones como «intimidantes» y Bard habló de «estadísticas abrumadoras» por lo que se ha realizado un esfuerzo importante por simplificar las explicaciones y hacer accesibles los resultados de todo el análisis. En el prompt final se hace un informe que contiene las conclusiones más relevantes del estudio y que debe ser a lo que prestamos más atención, al menos al principio.
Introducción
A veces, los alumnos muestran un rendimiento constante, mientras que otros pueden experimentar altibajos en sus calificaciones. Entender estos patrones de rendimiento durante un periodo lectivo puede proporcionar una información importante para diseñar estrategias de enseñanza y aprendizaje más efectivas.
En este artículo, utilizamos dos conceptos estadísticos clave para analizar los patrones de rendimiento temporal de los alumnos: la autocorrelación y la regresión lineal.
Interpretación y significado de la autocorrelación y regresión lineal
En nuestro contexto, la autocorrelación se utiliza para medir si el rendimiento de un alumno en una prueba (examen, ejercicio, trabajo, etc.) está relacionado con su rendimiento en pruebas posteriores a lo largo de un periodo lectivo, es decir, se trata de comprobar la consistencia del rendimiento.
Rendimiento consistente: Si la autocorrelación es positiva, significa que los alumnos que obtienen buenas notas en una prueba tienden a obtener buenas notas en las pruebas siguientes, y los alumnos que obtienen malas notas en una prueba tienden a obtener malas notas en las pruebas siguientes. En otras palabras, un rendimiento alto se sigue de un rendimiento alto, y un rendimiento bajo se sigue de un rendimiento bajo.
Rendimiento inverso: Si la autocorrelación es negativa, significa que los alumnos que obtienen buenas notas en una prueba tienden a obtener notas peores en las pruebas siguientes, y los alumnos que obtienen malas notas en una tienden a obtener mejores notas en las siguientes. En otras palabras, un rendimiento alto suele ser seguido de un rendimiento bajo, y un rendimiento bajo suele ser seguido de un rendimiento alto.
Rendimiento aleatorio: Si la autocorrelación está cercana al cero, esto indica que las notas de una prueba no influyen en las siguientes, siendo los resultados aleatorios entre prueba y prueba.
Importante: ChatGPT realiza un test estadístico para comprobar que el rendimiento no es aleatorio (distinto de 0). Por lo tanto, si no encuentra diferencias significativas, puede clasificar a los alumnos con rendimiento aleatorio, aunque tenga valores positivos o negativos en la autocorrelación.
Por otro lado, la regresión lineal es una técnica que nos permite analizar la relación entre dos variables. En nuestro análisis, utilizamos la regresión lineal para determinar si existe una tendencia en el rendimiento de los alumnos a lo largo del tiempo. La pendiente de la línea de regresión representa esta tendencia:
Mejorando: Una pendiente positiva indica que las calificaciones de los alumnos están mejorando a lo largo del tiempo,
Empeorando: Una pendiente negativa indica que las calificaciones están empeorando a lo largo del periodo lectivo.
Constante: Una pendiente cercana a cero indica que las calificaciones se mantienen relativamente constantes durante todo el periodo lectivo.
Importante: ChatGPT hace un test estadístico para verificar si el rendimiento no es constante (distinto de 0). Por lo tanto, si no encuentra diferencias significativas, puede clasificar a los alumnos con tendencia constante, aunque tenga valores positivos o negativos en la pendiente de la regresión.
Al combinar estos dos enfoques, somos capaces de analizar no solo las tendencias en el rendimiento de los alumnos, sino también la consistencia de estas tendencias. Este análisis nos proporciona una visión más completa de los patrones de rendimiento de los alumnos y puede ayudarnos a identificar estrategias efectivas para apoyar su aprendizaje.
Es importante recalcar que en ningún momento se analiza el rendimiento académico (si las notas son buenas o malas) sino únicamente los patrones temporales del rendimiento, es, pues, un análisis sobre el progreso del alumnado durante un periodo lectivo.
Una serie de notas de los alumnos en una hoja de cálculo, ordenadas cronológicamente, como mínimo se necesitan 3 notas por alumno, pero el análisis mejora con un número mayor.
Estadísticas más relevantes que se llevan a cabo
Si no te interesa la estadística, puedes omitir esta sección y pasar a la siguiente.
Análisis de series temporales: Corresponde a la autocorrelación y regresión lineal, ya explicados anteriormente. Este análisis permite entender cómo cambian las calificaciones de los alumnos a lo largo del tiempo.
Para comprobar si las autocorrelaciones son distintas de 0 se usa el test Ljung-Box.
Para verificar si las pendientes son distintas de 0 se utiliza el test de la t de Student.
K-means Clustering: Este método de agrupamiento se emplea para dividir a los alumnos en grupos basados en sus patrones de rendimiento a lo largo del tiempo. Los alumnos con patrones similares se agrupan juntos. Esto puede ayudar a identificar grupos de alumnos que podrían beneficiarse de estrategias de enseñanza y aprendizaje similares.
Análisis de Componentes Principales (PCA): Este es un método de reducción de la dimensionalidad que se usa para visualizar los patrones de rendimiento de los alumnos en un espacio de dos dimensiones. Los alumnos que están más cerca entre sí en este espacio tienen patrones de rendimiento más similares.
Agrupamiento jerárquico de Ward: Este método de agrupamiento organiza a los alumnos en una jerarquía de grupos basados en sus patrones de rendimiento. Se utilizan las puntuaciones de cada alumno obtenidas en el PCA, se ha hecho así para mantener la coherencia en los resultados. Proporciona una visión detallada de las similitudes y diferencias entre los alumnos.
Preparación de los datos para su análisis
Los datos deben tenerse en una hoja de cálculo.
En la primera fila pondremos los títulos de las columnas, estos nombres no deben contener espacios.
La primera columna estará formada por los nombres de los alumnos sin comas, es preferible que estos nombres sean cortos para mejorar la visualización gráfica. A partir de la segunda columna las notas de los alumnos.
Estas notas deben estar ordenadas cronológicamente, con las más antiguas en las primeras posiciones.
Todas las notas deben seguir la misma escala (sobre 10, sobre 100, etc.)
Si nos falta alguna nota en un alumno, ChatGPT hallará la media de los otros alumnos y se las pondrá a este alumno. Si no deseamos esto podemos eliminar los alumnos a los que les falten notas o completarlas antes de empezar el análisis. No debemos tener nada más en esta hoja de cálculo que los nombres y las notas.
Descargamos los datos en formato CSV.
Subimos el archivo CSV en el prompt 1
Ejemplo de cómo quedan los datos listos para ser utilizados por ChatGPT. Puede verse el archivo completo en el ejemplo final.
Prompts
En total son 8 prompts. El análisis es lo suficientemente complejo y extenso como para que ChatGPT no sea capaz de crear un documento de Word con los resultados y conclusiones finales, como hemos hecho en otros análisis. Por lo tanto, si queremos un informe en un documento, habrá que copiar y pegar el texto del informe final en un procesador de textos y los gráficos de alumnos del PCA y dendrograma, copiarlos directamente del historial de la conversación.
Prompt 1
Pedimos a ChatGPT que analice los datos para comprobar si son correctos. Si falta alguna nota en su lugar pondrá la media del resto de alumnos. Si no deseamos hacer esto podemos eliminar al alumno o completar la nota que falta.
En este prompt hay que subir el archivo CSV con los datos ya preparados.
Eres un profesor experto en estadística que me está ayudando con el análisis temporal de los datos de mis alumnos. Por favor, realiza lo siguiente:
1) Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2) Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, calcula la media de la columna.
No calcules estadísticas todavía. Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento. Si más adelante escribes alguna tabla, hazlo con formato markdown.
Prompt 2
Cálculo de la consistencia en las notas (autocorrelaciones) y de su tendencia (regresiones) comprobando si siguen un patrón entre una prueba y otra. Donde pone «la misma asignatura» podemos sustituirlo por una explicación más detallada de nuestros datos (por ejemplo: ejercicios de laboratorio de Biología de 1° de ESO).
En este prompt se proporciona una tabla con los patrones de rendimiento de cada alumno, es la tabla más importante del estudio a nivel del alumno.
Estos datos corresponden a notas de la misma asignatura que forman una serie temporal a lo largo de un periodo lectivo, con los datos más antiguos en primera posición. a) Quiero que realices una autocorrelación con un retraso k=1 para ver la tendencia temporal del rendimiento de cada alumno. Comprueba si las autocorrelaciones son distintas de 0 mediante el test de Ljung-Box. b) Calcula una regresión lineal para estimar la tendencia en las calificaciones de cada alumno a lo largo del tiempo y comprueba si las pendientes son significativamente distintas de 0.
c) Escribe una tabla Markdown con los siguientes datos: 1) Nombre del alumno 2) Autocorrelación. Etiqueta la columna como: Relación entre una prueba y la posterior (autocorrelación). 3) Una interpretación de una o dos palabras, teniendo en cuenta el resultado del test de Ljung-Box, indicando el significado docente de la autocorrelación:
3.1) Autocorrelación significativamente distinta de 0 y positiva: Rendimiento consistente.
3.2) Autocorrelación significativamente distinta de 0 y negativa: Rendimiento inverso.
3.3) Autocorrelación no significativamente distinta de 0: Rendimiento aleatorio.
4) Pendiente de la regresión lineal. Etiquétala en la columna como: Tendencia del rendimiento (pendiente de la regresión). 5) Una interpretación de una palabra indicando:
5.1) Si la pendiente es significativamente distinta de 0 y positiva: Mejorando
5.2) Si la pendiente es significativamente distinta de 0 y negativa: Empeorando.
5.3) Si la pendiente no es significativamente distinta de 0: Constante.
Prompt 3
Creación de los grupos de patrones de rendimiento según su consistencia y tendencia: Se agrupan los alumnos con patrones de rendimiento similares.
Utiliza el algoritmo de k-means para agrupar a los estudiantes en varios grupos de patrones temporales, utilizando la autocorrelación y las pendientes de la regresión lineal. Ten en cuenta que estas variables tienen unidades diferentes. Utiliza el método Silhouette Score para crear los grupos. Tiene que haber más de 2 grupos. Decide cuántos harás según lo que has obtenido de Silhouette Score y la restricción que te he dado.
Prompt 4
Análisis de los grupos de patrones de rendimiento.
1) En cada uno de los grupos que has creado calcula la autocorrelación de las medias de los alumnos que contiene. Comprueba si las autocorrelaciones son distintas de 0 mediante el test de Ljung-Box
2) En cada uno de los grupos que has creado calcula la regresión lineal de las medias de los alumnos que contiene. Comprueba si las autocorrelaciones son distintas de 0.
Prompt 5
Tabla resumen que permite interpretar los grupos de rendimiento que se han creado.
Analiza los resultados y da un nombre corto con significado educativo a cada grupo, estos nombres cortos no pueden estar repetidos. Revisa los resultados de los alumnos para asignar nombres distintos.
Escribe una tabla Markdown con los siguientes datos: 1) Nombre del grupo. 2) Lista de los alumnos de cada grupo. 3) Autocorrelación. Etiqueta la columna como: Relación entre una prueba y la posterior (autocorrelación). 4) Una interpretación de una o dos palabras, teniendo en cuenta el resultado del test de Ljung-Box, indicando el significado docente de la autocorrelación:
4.1) Autocorrelación significativamente distinta de 0 y positiva: Rendimiento consistente.
4.2) Autocorrelación significativamente distinta de 0 y negativa: Rendimiento inverso.
4.3) Autocorrelación no significativamente distinta de 0: Rendimiento aleatorio.
5) Pendiente de la regresión lineal. Etiquétala en la columna como: Tendencia del rendimiento (pendiente de la regresión). 6) Una interpretación de una palabra indicando:
6.1) Si la pendiente es significativamente distinta de 0 y positiva: Mejorando
6.2) Si la pendiente es significativamente distinta de 0 y negativa: Empeorando.
6.3) Si la pendiente no es significativamente distinta de 0: Constante.
Recuerda: NO puedes repetir los nombres cortos de los grupos
Prompt 6
Gráfico del PCA: Visualización gráfica de los grupos y alumnos según los patrones de rendimiento utilizando ejes de coordenadas.
1) Realiza un análisis de componentes principales de todos los alumnos, usando como datos las autocorrelaciones y las pendientes de las regresiones de cada alumno.
2) Representa gráficamente cada alumno en las dos primeras componentes: 2.1) Utiliza símbolos distintos para cada grupo temporal y escribe los nombres descriptivos que les pusiste en la leyenda del gráfico. 2.2) ETIQUETA cada punto dentro del gráfico con el nombre real del alumno (no uses números) que tienes en los datos originales que subí al principio. 2.3) Identifica los grupos creados con k-means en la gráfica mediante elipses calculadas a partir de las medias y las desviaciones estándar para que cubran el 95% de las observaciones. Antes comprueba si alguna desviación estándar es cero y en ese caso no dibujes elipse para estos alumnos.
3) Dame una interpretación de cada grupo de patrones temporales que me pueda resultar útil como profesor para ayudar a mis alumnos. En cada grupo vuelve a escribir la lista completa de alumnos. Escribe comentarios para los alumnos, especialmente si algún alumno destaca en algún aspecto, positivo o negativo.
Recuerda que en el PCA las etiquetas de los alumnos tienen que ser sus nombres reales, no los identifiques con números.
Prompt 7
Dendrograma: Agrupamiento de los alumnos según la semejanza en sus patrones temporales de rendimiento. El objetivo de este gráfico es el mismo que el anterior, pero usando una visualización diferente y más detallada (aquí no aparecen representados los grupos).
Utiliza el agrupamiento jerárquico aglomerativo con el método de Ward para clasificar a los alumnos utilizando las coordenadas del PCA. Crea un dendrograma con los nombres de los alumnos en el eje VERTICAL para visualizar la agrupación jerárquica de los alumnos.
Prompt 8
Informe final de resultados que deberemos copiar y pegar en un documento de texto, junto con los dos gráficos que se han generado anteriormente.
Vuelve a leer TODA nuestra conversación y escribe un informe final con las conclusiones finales a todo el trabajo que has hecho, centrándote en las pruebas. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. Este informe está dedicado a personas que no saben estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. El informe deberá incluir: 1) Una introducción de menos de 110 palabras sobre el propósito de este trabajo (analizar los patrones de rendimiento a lo largo del tiempo) y el significado y repercusiones educativas de las autocorrelaciones (positivas o negativas) y regresiones lineales (mejorar, no cambiar o empeorar) en este contexto. 2) La tabla markdown de todos los alumnos con el nombre del grupo temporal al que pertenecen, las autocorrelaciones, las pendientes de las regresiones, su nivel de significación y las interpretaciones de ambas. 3) La tabla markdown de los grupos de k-mean con la autocorrelación, los alumnos que hay en cada grupo, los coeficientes de la regresión y las interpretaciones de ambos. 4) El gráfico PCA con una breve explicación de cómo se interpreta. 5) El dendrograma con una breve explicación de cómo se interpreta 6) Interpretación de cada grupo de patrones temporales que me pueda resultar útil como profesor para ayudar a mis alumnos. En cada grupo vuelve a escribir la lista completa de alumnos. Escribe comentarios para los alumnos, especialmente si algún alumno destaca en algún aspecto, positivo o negativo. Estos comentarios deben ser útiles, relevantes, profesionales y con ideas concretas para aplicar a las características de cada grupo, si lo necesitas, revisa los datos que tienes sobre cada grupo. 7) Añade cualquier otro aspecto que no he tenido en cuenta en los puntos anteriores y creas que puede ser útil para la mejora de la práctica docente a nivel de profesorado y/o de alumnado y que tenga relación con este trabajo. Han de ser consideraciones concretas basadas en los resultados obtenidos, no escribas recomendaciones generales.
Ejemplo completo
En este ejemplo se han usado nombres ficticios para notas de los deberes de matemáticas de 1º de bachillerato durante todo un año. La conversación mantenida con ChatGPT, excepto gráficos, se puede consultar en este enlace.
Datos utilizados
Se exportaron las notas desde Classroom y se eliminaron las columnas de exámenes y otros trabajos que no se querían incluir, se modificó el título de cada columna por otros más sencillos de manejar y por último se cambiaron los nombres por otros y se exportó en formato CSV. El resultado es el siguiente:
Este informe se ha obtenido copiando y pegando el resultado del prompt 8, tal como estaba, en un procesador de textos. La imagen del PCA se ha obtenido del prompt 6 y el dendrograma del prompt 7.
Este análisis se centra en las pruebas realizadas a los alumnos (exámenes, ejercicios, deberes, trabajos, etc.) y no en los propios alumnos. Es, pues, un análisis de la tarea del docente que nos permite una autoevaluación de la actividad del enseñante hecha a través de las notas del alumnado.
Lógicamente, la autoevaluación incluye otros aspectos de carácter muy diferente a los realizados aquí. No obstante, es una evaluación objetiva que puede resultar de gran utilidad para el enseñante como complemento a otras formas de evaluación.
Prueba de normalidad de Shapiro-Wilk y de Levene para igualdad de varianzas.
Igualdad de medias:
ANOVA si se cumplen los criterios de normalidad y homocedasticidad.
Kruskall-Wallis si no se cumplen.
Análisis de Componentes Principales (PCA) para comprobar visualmente las relaciones entre las pruebas en las dos primeras componentes.
Preparación de los datos para su análisis
Los datos deben tenerse en una hoja de cálculo con los nombres de los alumnos en la primera columna y las notas a partir de la segunda. En la primera fila pondremos los títulos de las columnas sin espacios. Si tenemos notas faltantes, ChatGPT hallará la media de los otros alumnos y se las pondrá a estos alumnos. Si no deseamos esto podemos eliminar los alumnos a los que les falten notas o completarlas antes de empezar el análisis. No debemos tener nada más en esta hoja de cálculo que los nombres y las notas.
Descargamos los datos en formato CSV.
Subimos el archivo en el prompt 1
Prompts
En total hay 7 prompts, de los cuales 5 son de análisis y dos de conclusiones. Estos dos últimos son los que tendrán más relevancia para el profesorado.
Prompt 1
Análisis de la estructura de los datos y solución de problemas. En este prompt debemos subir el archivo CSV con los datos.
Actúa como un profesor experto en estadística que desea analizar las calificaciones de varios varias pruebas donde el aprobado está en 5. Me gustaría obtener un análisis completo de las pruebas que han hecho los alumnos. Aquí están las calificaciones en un archivo CSV. Por favor, realiza lo siguiente:
1. Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2. Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, calcula la media de la columna.
Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento. Si escribes alguna tabla, hazlo con formato Markdown.
Prompt 2
Estadísticas básicas y tests de normalidad y homocedasticidad.
A partir de ahora nos vamos a centrar en las pruebas, no en los alumnos.
1. Calcula la media, mediana y desviación estándar obtenida en cada prueba.
2. Realiza el test de normalidad de Shapiro-Wilk.
3. Escribe una tabla Markdown con todos los resultados anteriores.
4. Realiza la prueba de igualdad de varianzas de Levene para las pruebas.
5. Realiza una interpretación de los resultados anteriores que pueda ser útil para que los profesores entiendan las relaciones entre las pruebas, desde un punto de vista docente, y apta para personas sin conocimientos en estadística. Escribe unas conclusiones que sirvan para mejorar la práctica docente y resolver problemas.
Prompt 3
Comparación de todos los pares de medias.
1. Utiliza el método más apropiado, teniendo en cuenta el test de normalidad y de igualdad de varianzas, para comprobar si las medias entre las pruebas son iguales o no. Escribe qué métodos estás utilizando.
2. Si las medias no son iguales, selecciona y aplica el test más apropiado para identificar cuáles de ellas son distintas y cuáles presentan similitud.
3. Comprueba que los niveles de significación (p) son coherentes y tienen valores entre 0 y 1.
Prompt 4
Interpretación del prompt anterior.
Realiza una interpretación de los resultados de la igualdad de medias que pueda ser útil para que los profesores entiendan las relaciones entre las pruebas, desde un punto de vista docente, y apta para personas sin conocimientos en estadística. Escribe unas conclusiones que sirvan para mejorar la práctica docente y resolver problemas. Cuando hables de la dificultad de las pruebas, revisa sus medias para asegurarte que haces bien la interpretación.
Prompt 5
Análisis en Componentes principales para ver la relación entre las pruebas.
Realiza un PCA para las pruebas y dibuja en los dos primeros ejes las pruebas etiquetando cada punto con los nombres de las pruebas. Haz una TABLA en Markdown con el porcentaje de la variabilidad explicada por cada componente, así como la variabilidad acumulada. Haz una interpretación de los resultados del PCA analizando las puntuaciones de las pruebas y su situación en los ejes. Esta interpretación debe ser útil para que los profesores entiendan las relaciones entre las pruebas, desde un punto de vista docente, y apta para personas sin conocimientos en estadística. Escribe unas conclusiones que sirvan para mejorar la práctica docente y resolver problemas.
Prompt 6
Elaboración de las conclusiones finales.
Vuelve a leer toda nuestra conversación y escribe un informe con las conclusiones finales a todo el trabajo que has hecho centrándote en las pruebas. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. Este informe está dedicado a personas sin conocimientos de estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. El informe deberá incluir:
1. Conclusiones para las medias, medianas, desviación estándar y normalidad de las muestras.
2. Conclusiones sobre la igualdad de medias de las pruebas.
3. Conclusiones sobre PCA, añade el gráfico PCA.
4. Recomendaciones prácticas para el profesor relacionadas con estas conclusiones.
5. Cualquier otro aspecto que creas de utilidad para la mejora de la práctica docente.
6. A partir de estos resultados y conclusiones escribe la autoevaluación del docente que ha realizado estas pruebas a sus alumnos.
Prompt 7
Creación de un documento de Word con los resultados.
Haz un documento DOCX con TODO lo que acabas de escribir, sin dejar nada, adaptando el formato del texto y tablas a este tipo de archivo, añade también la imagen del PCA, si es necesario la vuelves a crear.
ChatGPT-4 facilita la autoevaluación docente a través del análisis de las pruebas y calificaciones de los alumnos. Este análisis, que incluye estadísticas básicas, pruebas de normalidad, igualdad de medias y análisis de componentes principales, revela patrones útiles para mejorar la práctica docente y resolver problemas. La interpretación de estos resultados es muy útil para su aplicación práctica en el aula.
No hace mucho que publicamos el artículo Análisis de los resultados de las calificaciones de una prueba con ChatGPT-4, donde se daban una serie de estadísticas para el caso de una prueba de cualquier tipo con calificación. En este artículo generalizamos las estadísticas a varias pruebas de forma simultánea, por lo que puede ser útil para ver el estado de nuestros alumnos al final del trimestre o después de realizar varias actividades.
Las estadísticas que se pueden hacer son de muchos tipos, pero hemos tenido que decidirnos por algo que fuese breve, pero informativo por dos motivos: en primer lugar ChatGPT no puede recordar de forma ilimitada y llega un momento en que se pierde totalmente y no es posible realizar un análisis de forma sencilla y semiautomática; en segundo, un exceso de estadísticas acaban produciendo el efecto contrario al deseado y todo esto puede convertirse en un motivo de infoxicación y el consecuente desánimo que produce.
Así que hemos decidido hacer unas pruebas rápidas para ver el estado de los alumnos mediante el análisis de las notas y la creación de grupos de rendimiento, donde podemos ver de forma objetiva lo que dicen las notas sobre nuestros alumnos.
Si no te interesan los detalles de las estadísticas, puedes pasar directamente a la Preparación de los datos.
Requerimientos
Este análisis necesita de ChatGPT-4 con el modelo Code Interpreter activado.
Se necesitan al menos 2 conjuntos de notas, pero el análisis funciona mejor con más notas.
Estadísticas más relevantes realizadas
Para los grupos, el algoritmo k-means y la selección del número de grupos mediante Silhouette Score.
El dendrograma que muestra la semejanza entre alumnos mediante el método de agrupamiento jerárquico aglomerativo con el método de Ward.
Tanto k-means como el agrupamiento jerárquico han utilizado la distancia euclídea.
Un análisis de componentes principales (PCA) para visualizar gráficamente los grupos creados por k-means y los alumnos.
Elipses de pertenencia a los grupos del gráfico PCA:
Centro: El centro de la elipse se calcula como la media de las dos primeras componentes principales (PC1 y PC2) para cada grupo. Esto da la ubicación promedio de los estudiantes en ese grupo en el espacio de las dos primeras componentes principales.
Ancho y alto: El ancho y el alto de la elipse se calculan como la desviación estándar de las dos primeras componentes principales (PC1 y PC2) para cada grupo, multiplicada por 2. Esto da una medida de la dispersión de los estudiantes en ese grupo en el espacio de las dos primeras componentes principales, cubriendo el 95 % de las observaciones.
Preparación de datos
Los datos deben tenerse en una hoja de cálculo con los nombres de los alumnos en la primera columna y las notas a partir de la segunda. En la primera fila pondremos los títulos de las columnas sin espacios. Si tenemos notas faltantes, ChatGPT hallará la media de los otros alumnos y se las pondrá a estos alumnos. Si no deseamos esto podemos eliminar los alumnos a los que les falten notas o completarlas antes de empezar el análisis. No debemos tener nada más en esta hoja de cálculo que los nombres y las notas.
Descargamos los datos en formato CSV.
Subimos el archivo en el prompt 1
PROMPTS
Hemos hecho 6 prompts que se resumen al final en las conclusiones, tanto a través del chat como en un documento de Word. Por lo tanto, para el docente, las respuestas a las que debe prestar más atención son las dos últimas.
Prompt 1
En este prompt ChatGPT analizará la estructura de los datos e intentará arreglar cualquier cosa que no esté bien. Aquí debemos subir el archivo CSV que contendrá exclusivamente los nombres de los alumnos en la primera columna y las notas en las siguientes.
Actúa como un profesor experto en estadística que desea analizar las calificaciones de varios varias pruebas donde el aprobado está en 5. Me gustaría obtener un análisis completo de las calificaciones de los alumnos. Aquí están las calificaciones en un archivo CSV. Por favor, realiza lo siguiente:
1. Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2. Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, calcula la media de la columna.
Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento.
Prompt 2
En este prompt, hará grupos de alumnos basándose en las notas de los diferentes ejercicios. Estos grupos son naturales, es decir, se deducen a partir de los datos que hemos introducido.
1 . Utiliza el algoritmo de k-means para agrupar a los estudiantes en varios grupos de según su rendimiento (grupos de rendimiento). Utiliza el método Silhouette Score para crear los grupos.
2. Analiza los datos de los grupos de rendimiento que acabas de hacer y asígnales un nombre diferente a cada uno de ellos con significado educativo que describa el rendimiento. Interpreta y explica el significado académico de cada grupo.
3. Escribe los grupos de rendimiento, ordenados de mejor a peor, la media de las notas de cada grupo, así como la media total de cada grupo y la lista completa de alumnos que tiene cada grupo en forma de TABLA Markdown.
4. Extrae conclusiones sobre los puntos anteriores relevantes para la práctica docente de un profesor.
Justo antes de mostrar los resultados de los análisis que te he pedido, comprueba que el número de alumnos coincide exactamente con los que hay en el archivo de datos original.
Prompt 3
Con este prompt, ChatGPT nos hará un árbol donde podremos ver los alumnos agrupados por similitudes.
Utiliza el agrupamiento jerárquico aglomerativo con el método de Ward. Crea un dendrograma con los nombres de los alumnos en el eje VERTICAL para visualizar la agrupación jerárquica de los estudiantes según su rendimiento.
Prompt 4
Aquí se hace algo parecido a lo anterior, pero utilizando una gráfica en dos dimensiones, podremos ver similitudes entre alumnos, además los grupos que se hicieron antes quedarán bien visibles.
1. Haz un análisis PCA de los alumnos.
2. Haz un gráfico con las 2 primeras componentes y escribe los nombres de los alumnos en las etiquetas, utiliza símbolos y colores diferentes para los distintos grupos.
3. Delimita claramente los grupos de rendimiento mediante elipses.
4. Dame los porcentajes de varianza explicada y acumulada de todas las componentes en una tabla Markdown.
5. Explica lo que significa el gráfico y los porcentajes de la tabla que has hecho, debajo de cada uno.
Prompt 5
Escritura de conclusiones.
Crea las conclusiones finales a todo el trabajo que has hecho. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. Este informe está dedicado a personas que no saben estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. Debe tener, al menos, los siguientes elementos:
1. Grupos de rendimiento con su media total y alumnos en una tabla Markdown.
2. Imagen dendrograma con los alumnos en el eje vertical y explicación de su significado. Debes incluir esta imagen que ya hiciste antes.
3. Imagen del PCA y explicación de su significado. Debes incluir esta imagen que ya hiciste antes.
4. Conclusiones generales para los alumnos y mención expresa de los nombres de los alumnos que necesitan ayuda con algunas recomendaciones.
5. Añade cualquier otra cuestión que pueda servir a los alumnos o al profesor para mejorar su práctica docente
Prompt 6
Creación de un documento de Word a partir de las mismas conclusiones anteriores.
Haz un documento DOCX con lo que acabas de escribir, adaptando el formato del texto y tablas a este tipo de archivo, añade también las imágenes del dendrograma y PCA
Ejemplo
Hemos hecho un ejemplo con notas reales. La conversación con ChatGPT no ha podido ser enlazada, ya que en el momento de escribir esto la opción estaba deshabilitada. Los datos se pueden descargar del siguiente archivo CSV:
El uso de ChatGPT-4 para analizar calificaciones de múltiples pruebas ha demostrado ser muy útil. Permite a los docentes obtener una visión objetiva del rendimiento de los alumnos, ayudando a mejorar las estrategias de enseñanza. A pesar de las limitaciones de memoria, ChatGPT-4 maneja grandes conjuntos de datos y proporciona análisis significativos. La creación de grupos de rendimiento es una característica muy útil. El empleo de técnicas de agrupamiento y análisis de componentes principales proporciona una visión más profunda de las similitudes y diferencias entre los alumnos. Además, ChatGPT-4 genera informes comprensibles, haciendo los análisis accesibles para docentes.
En este artículo describimos los prompts necesarios para hacer el análisis de los resultados académicos de unas calificaciones de clase: examen, ejercicios, deberes, etc. Es importante recalcar que solo sirve para analizar las notas de un único examen o ejercicio. Más adelante publicaremos otro trabajo para analizar un conjunto de calificaciones pertenecientes a varias pruebas.
ChatGPT se encarga de todo, eso incluye los cálculos y, lo más importante, qué significan y qué conclusiones se extraen. Es igual que tener una persona experta en estadística que nos hace los cálculos y nos explica lo que quieren decir.
Este análisis utiliza estadística básica (como los estadísticos de dispersión y centralización) y también métodos de aprendizaje automático sin supervisión (método k-means y de aglomeración jerárquica).
Requerimientos
Para poder hacer este análisis necesitamos de la versión 4 de ChatGPT con el modelo Code Interpreter activado.
Un único conjunto de notas.
Descripción de los resultados
El proceso descrito acaba generando un documento de tipo DOCX que contiene las interpretaciones y conclusiones del estudio realizado. En él se incluyen:
Análisis general de las notas:
Media: Es la medida que proporciona un valor central representativo del conjunto de datos.
Mediana: Es la nota que tiene al 50 % de los alumnos a cada lado.
Rango: Diferencia entre la calificación más alta y más baja.
Desviación estándar: Es la medida de la variabilidad de las notas.
Histograma: Es un gráfico donde se representa cuántos alumnos obtuvieron cada nota.
Boxplot: Es un gráfico que representa la mediana, entre qué notas se encuentra el 50 % de los alumnos, la nota mínima y la nota máxima.
Análisis de los alumnos según su rendimiento
Grupos de rendimiento: ChatGPT divide a los alumnos en grupos naturales, es decir, los grupos que se pueden observar en las notas. A cada uno le asigna un nombre y nos proporciona su media, así como los alumnos que contiene.
Dendrograma: es un gráfico que agrupa a los alumnos de forma visual. Con él podremos ver las relaciones entre los alumnos según su rendimiento y también podremos visualizar los grupos de rendimiento que se han creado. Es un gráfico muy útil para comprender la tipología del alumnado en nuestra clase.
Preparación de los datos
Necesitamos tener una hoja de cálculo con dos columnas, en la primera los nombres de los alumnos, en la segunda las notas que queremos analizar.
Este archivo lo descargaremos en formato CSV, que ChatGPT maneja bien y lo subiremos en el primer prompt.
Prompt 1
En este prompt debemos cargar el archivo CSV con los datos.
Este prompt se ocupa de cargar los datos, analizarlos, calcular las estadísticas del examen y crear el histograma y el boxplot. Aquí debemos indicar en qué valor se encuentra el aprobado (se ha supuesto que está en 5) y podemos añadir la asignatura y el tema o formato de la prueba en el espacio entre corchetes, por ejemplo:
Actúa como un profesor experto en estadística que acaba de calificar un formulario online sobre los orgánulos celulares donde el aprobado está en 5
Esto proporciona un contexto que ayudará a ChatGPT en su análisis.
Actúa como un profesor experto en estadística que acaba de calificar un [examen] donde el aprobado está en 5. Me gustaría obtener un análisis completo de las calificaciones de los alumnos. Aquí están las calificaciones en un archivo CSV. Por favor, realiza lo siguiente:
1. Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2. Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, elimina ese alumno.
3. Calcula estadísticas descriptivas de las calificaciones, incluyendo la media, mediana y desviación estándar. Haz una interpretación académica de los resultados.
4. Crea un histograma y un boxplot para visualizar la distribución de las calificaciones e interpreta académicamente los resultados.
Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento.
Prompt 2
Este prompt crea los grupos de rendimiento del alumnado.
Ahora vas a analizar el rendimiento de los alumnos:
1. Utiliza el algoritmo de k-means para agrupar a los estudiantes en varios grupos según su rendimiento. Utiliza el método Silhouette Score para crear los grupos. Analiza los datos de los grupos de rendimiento que acabas de hacer y asígnales un nombre diferente a cada uno de ellos con significado educativo que describa el rendimiento. Interpreta y explica el significado académico de cada grupo. Asegúrate también que los nombres de los grupos son coherentes con sus medias, es decir, los de rendimiento bajo no pueden tener una media superior a los de rendimiento medio, etc.
2. Escribe los grupos de rendimiento, ordenados de mejor a peor, la media de las notas de cada grupo, así como la media total de cada grupo y la lista completa de alumnos que tiene cada grupo en forma de TABLA Markdown.
3. Utiliza el agrupamiento jerárquico aglomerativo con el método de Ward. Crea un dendrograma con los nombres de los alumnos en el eje VERTICAL para visualizar la agrupación jerárquica de los estudiantes según su rendimiento.
Antes de mostrar los resultados comprueba que el número de alumnos coincide exactamente con los que hay en el archivo de datos original.
Prompt 3
Se extraen conclusiones sobre los resultados del examen.
Extrae conclusiones sobre el rendimiento de los alumnos en general como clase en el examen basándote en los análisis anteriores y comenta los alumnos que necesiten algún comentario adicional (por rendimiento deficiente, excelente, etc.). Estas conclusiones deben servir al profesor para mejorar su práctica docente y detectar problemas
Prompt 4
Se realiza un informe, esta es la parte más importante.
A continuación harás un informe con conclusiones. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. El informe está destinado a personas que no saben estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. Escribe un informe que contenga lo siguiente:
1. Todos los resultados, explicaciones y conclusiones de tu estudio, incluyendo las medidas de centralización y dispersión con sus interpretaciones académicas. No olvides incluir los alumnos pertenecientes a cada grupo, así como una interpretación de lo que son estos grupos con la media que tiene cada uno.
2. Incluye las imágenes de los gráficos creados anteriormente, también el dendrograma. Añade una interpretación para cada uno de ellos, de forma que el lector sepa lo que está viendo.
3. Escribe las conclusiones generales que has escrito antes destinadas a la mejora docente. Haz mención expresa de los nombres de los alumnos que necesitan más ayuda con algunas recomendaciones.
Céntrate en las interpretaciones, resultados, rendimientos, conclusiones y consejos.
Prompt opcional
Si deseamos un informe en formato Word usaremos este prompt adicional. Esta tarea a veces le lleva mucho trabajo, ya que comete errores con frecuencia y lo repite una y otra vez. Pulsar el botón Regenerate puede dar buenos resultados.
Haz un documento DOCX con lo que acabas de escribir, adaptando el formato del texto y tablas a este tipo de archivo, añade también las imágenes del histograma, boxplot y dendrograma
Ejemplo
Hemos realizado un ejemplo con notas reales correspondientes a notas de matemáticas de 1° de Bachillerato. El archivo CSV se encuentra a continuación:
La conversación completa puede leerse a través de este enlace que no muestra ni los gráficos ni los enlaces que contiene.
Conclusiones
Con estos 4 prompts podemos realizar un análisis exhaustivo de las notas de clase que de otro modo sería prohibitivo por el tiempo y los recursos necesarios como son los programas de estadística multivariante.
Más adelante se publicará otro artículo donde se analicen un conjunto de notas.
Sería insensato, y contradictorio en sí mismo, pensar que es posible hacer lo que hasta ahora nunca se ha hecho por procedimientos que no sean totalmente nuevos.
Comentarios recientes