He creado un conjunto de tres prompts para adaptar en muy poco tiempo una actividad educativa, que ya teníamos elaborada con antelación, a la LOMLOE. Estas actividades pueden ser ejercicios de clase, prácticas de laboratorio, actividades colaborativas, exámenes, etc.
Partiendo de esta actividad preexistente, estos prompts le asociarán:
Las competencias específicas que mejor se adaptan a la actividad.
Los criterios de evaluación de las competencias específicas anteriores que mejor encajan.
Los saberes que se trabajan en la actividad.
Además, hay un par de prompts adicionales para elaborar:
Los objetivos de aprendizaje de nuestra actividad.
Una rúbrica para evaluar las competencias específicas de la actividad en cuestión.
Los datos que necesitaremos para utilizar estos prompts son:
Actividad que queremos adaptar, preferentemente en un documento que podamos subir a ChatGPT.
Lista de competencias específicas con sus criterios de evaluación. Pueden ser todas o una selección.
Lista de saberes. Todos o solo los que nos interesen.
Recomendaciones
Aconsejamos numerar las competencias, criterios y saberes para que el resultado sea más breve y comprensible.
Es casi obligado el uso de ChatGPT-4o (o superior) porque es el único que maneja tanta información con habilidad para producir buenos resultados. Incluso Claude 3.5 Sonnet, que en muchos aspectos iguala a esta versión de ChatGPT, no produce resultados de buena calidad.
La elaboración de estos prompts ha sido un proyecto colaborativo en el que han intervenido el GPT Úrsula, especializada en la creación de prompts educativos, y el GPT Bruno, especialista en LOMLOE.
Úrsula ha seguido mis instrucciones y correcciones para garantizar la calidad y relevancia del resultado final y Bruno ha revisado el resultado final y aconsejado la forma de adaptar plenamente los prompts al espíritu de la LOMLOE.
Cuando le pedí a ChatGPT su opinión sobre el contenido de este artículo, definió algunas secciones como «intimidantes» y Bard habló de «estadísticas abrumadoras» por lo que se ha realizado un esfuerzo importante por simplificar las explicaciones y hacer accesibles los resultados de todo el análisis. En el prompt final se hace un informe que contiene las conclusiones más relevantes del estudio y que debe ser a lo que prestamos más atención, al menos al principio.
Introducción
A veces, los alumnos muestran un rendimiento constante, mientras que otros pueden experimentar altibajos en sus calificaciones. Entender estos patrones de rendimiento durante un periodo lectivo puede proporcionar una información importante para diseñar estrategias de enseñanza y aprendizaje más efectivas.
En este artículo, utilizamos dos conceptos estadísticos clave para analizar los patrones de rendimiento temporal de los alumnos: la autocorrelación y la regresión lineal.
Interpretación y significado de la autocorrelación y regresión lineal
En nuestro contexto, la autocorrelación se utiliza para medir si el rendimiento de un alumno en una prueba (examen, ejercicio, trabajo, etc.) está relacionado con su rendimiento en pruebas posteriores a lo largo de un periodo lectivo, es decir, se trata de comprobar la consistencia del rendimiento.
Rendimiento consistente: Si la autocorrelación es positiva, significa que los alumnos que obtienen buenas notas en una prueba tienden a obtener buenas notas en las pruebas siguientes, y los alumnos que obtienen malas notas en una prueba tienden a obtener malas notas en las pruebas siguientes. En otras palabras, un rendimiento alto se sigue de un rendimiento alto, y un rendimiento bajo se sigue de un rendimiento bajo.
Rendimiento inverso: Si la autocorrelación es negativa, significa que los alumnos que obtienen buenas notas en una prueba tienden a obtener notas peores en las pruebas siguientes, y los alumnos que obtienen malas notas en una tienden a obtener mejores notas en las siguientes. En otras palabras, un rendimiento alto suele ser seguido de un rendimiento bajo, y un rendimiento bajo suele ser seguido de un rendimiento alto.
Rendimiento aleatorio: Si la autocorrelación está cercana al cero, esto indica que las notas de una prueba no influyen en las siguientes, siendo los resultados aleatorios entre prueba y prueba.
Importante: ChatGPT realiza un test estadístico para comprobar que el rendimiento no es aleatorio (distinto de 0). Por lo tanto, si no encuentra diferencias significativas, puede clasificar a los alumnos con rendimiento aleatorio, aunque tenga valores positivos o negativos en la autocorrelación.
Por otro lado, la regresión lineal es una técnica que nos permite analizar la relación entre dos variables. En nuestro análisis, utilizamos la regresión lineal para determinar si existe una tendencia en el rendimiento de los alumnos a lo largo del tiempo. La pendiente de la línea de regresión representa esta tendencia:
Mejorando: Una pendiente positiva indica que las calificaciones de los alumnos están mejorando a lo largo del tiempo,
Empeorando: Una pendiente negativa indica que las calificaciones están empeorando a lo largo del periodo lectivo.
Constante: Una pendiente cercana a cero indica que las calificaciones se mantienen relativamente constantes durante todo el periodo lectivo.
Importante: ChatGPT hace un test estadístico para verificar si el rendimiento no es constante (distinto de 0). Por lo tanto, si no encuentra diferencias significativas, puede clasificar a los alumnos con tendencia constante, aunque tenga valores positivos o negativos en la pendiente de la regresión.
Al combinar estos dos enfoques, somos capaces de analizar no solo las tendencias en el rendimiento de los alumnos, sino también la consistencia de estas tendencias. Este análisis nos proporciona una visión más completa de los patrones de rendimiento de los alumnos y puede ayudarnos a identificar estrategias efectivas para apoyar su aprendizaje.
Es importante recalcar que en ningún momento se analiza el rendimiento académico (si las notas son buenas o malas) sino únicamente los patrones temporales del rendimiento, es, pues, un análisis sobre el progreso del alumnado durante un periodo lectivo.
Una serie de notas de los alumnos en una hoja de cálculo, ordenadas cronológicamente, como mínimo se necesitan 3 notas por alumno, pero el análisis mejora con un número mayor.
Estadísticas más relevantes que se llevan a cabo
Si no te interesa la estadística, puedes omitir esta sección y pasar a la siguiente.
Análisis de series temporales: Corresponde a la autocorrelación y regresión lineal, ya explicados anteriormente. Este análisis permite entender cómo cambian las calificaciones de los alumnos a lo largo del tiempo.
Para comprobar si las autocorrelaciones son distintas de 0 se usa el test Ljung-Box.
Para verificar si las pendientes son distintas de 0 se utiliza el test de la t de Student.
K-means Clustering: Este método de agrupamiento se emplea para dividir a los alumnos en grupos basados en sus patrones de rendimiento a lo largo del tiempo. Los alumnos con patrones similares se agrupan juntos. Esto puede ayudar a identificar grupos de alumnos que podrían beneficiarse de estrategias de enseñanza y aprendizaje similares.
Análisis de Componentes Principales (PCA): Este es un método de reducción de la dimensionalidad que se usa para visualizar los patrones de rendimiento de los alumnos en un espacio de dos dimensiones. Los alumnos que están más cerca entre sí en este espacio tienen patrones de rendimiento más similares.
Agrupamiento jerárquico de Ward: Este método de agrupamiento organiza a los alumnos en una jerarquía de grupos basados en sus patrones de rendimiento. Se utilizan las puntuaciones de cada alumno obtenidas en el PCA, se ha hecho así para mantener la coherencia en los resultados. Proporciona una visión detallada de las similitudes y diferencias entre los alumnos.
Preparación de los datos para su análisis
Los datos deben tenerse en una hoja de cálculo.
En la primera fila pondremos los títulos de las columnas, estos nombres no deben contener espacios.
La primera columna estará formada por los nombres de los alumnos sin comas, es preferible que estos nombres sean cortos para mejorar la visualización gráfica. A partir de la segunda columna las notas de los alumnos.
Estas notas deben estar ordenadas cronológicamente, con las más antiguas en las primeras posiciones.
Todas las notas deben seguir la misma escala (sobre 10, sobre 100, etc.)
Si nos falta alguna nota en un alumno, ChatGPT hallará la media de los otros alumnos y se las pondrá a este alumno. Si no deseamos esto podemos eliminar los alumnos a los que les falten notas o completarlas antes de empezar el análisis. No debemos tener nada más en esta hoja de cálculo que los nombres y las notas.
Descargamos los datos en formato CSV.
Subimos el archivo CSV en el prompt 1
Ejemplo de cómo quedan los datos listos para ser utilizados por ChatGPT. Puede verse el archivo completo en el ejemplo final.
Prompts
En total son 8 prompts. El análisis es lo suficientemente complejo y extenso como para que ChatGPT no sea capaz de crear un documento de Word con los resultados y conclusiones finales, como hemos hecho en otros análisis. Por lo tanto, si queremos un informe en un documento, habrá que copiar y pegar el texto del informe final en un procesador de textos y los gráficos de alumnos del PCA y dendrograma, copiarlos directamente del historial de la conversación.
Prompt 1
Pedimos a ChatGPT que analice los datos para comprobar si son correctos. Si falta alguna nota en su lugar pondrá la media del resto de alumnos. Si no deseamos hacer esto podemos eliminar al alumno o completar la nota que falta.
En este prompt hay que subir el archivo CSV con los datos ya preparados.
Eres un profesor experto en estadística que me está ayudando con el análisis temporal de los datos de mis alumnos. Por favor, realiza lo siguiente:
1) Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2) Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, calcula la media de la columna.
No calcules estadísticas todavía. Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento. Si más adelante escribes alguna tabla, hazlo con formato markdown.
Prompt 2
Cálculo de la consistencia en las notas (autocorrelaciones) y de su tendencia (regresiones) comprobando si siguen un patrón entre una prueba y otra. Donde pone «la misma asignatura» podemos sustituirlo por una explicación más detallada de nuestros datos (por ejemplo: ejercicios de laboratorio de Biología de 1° de ESO).
En este prompt se proporciona una tabla con los patrones de rendimiento de cada alumno, es la tabla más importante del estudio a nivel del alumno.
Estos datos corresponden a notas de la misma asignatura que forman una serie temporal a lo largo de un periodo lectivo, con los datos más antiguos en primera posición. a) Quiero que realices una autocorrelación con un retraso k=1 para ver la tendencia temporal del rendimiento de cada alumno. Comprueba si las autocorrelaciones son distintas de 0 mediante el test de Ljung-Box. b) Calcula una regresión lineal para estimar la tendencia en las calificaciones de cada alumno a lo largo del tiempo y comprueba si las pendientes son significativamente distintas de 0.
c) Escribe una tabla Markdown con los siguientes datos: 1) Nombre del alumno 2) Autocorrelación. Etiqueta la columna como: Relación entre una prueba y la posterior (autocorrelación). 3) Una interpretación de una o dos palabras, teniendo en cuenta el resultado del test de Ljung-Box, indicando el significado docente de la autocorrelación:
3.1) Autocorrelación significativamente distinta de 0 y positiva: Rendimiento consistente.
3.2) Autocorrelación significativamente distinta de 0 y negativa: Rendimiento inverso.
3.3) Autocorrelación no significativamente distinta de 0: Rendimiento aleatorio.
4) Pendiente de la regresión lineal. Etiquétala en la columna como: Tendencia del rendimiento (pendiente de la regresión). 5) Una interpretación de una palabra indicando:
5.1) Si la pendiente es significativamente distinta de 0 y positiva: Mejorando
5.2) Si la pendiente es significativamente distinta de 0 y negativa: Empeorando.
5.3) Si la pendiente no es significativamente distinta de 0: Constante.
Prompt 3
Creación de los grupos de patrones de rendimiento según su consistencia y tendencia: Se agrupan los alumnos con patrones de rendimiento similares.
Utiliza el algoritmo de k-means para agrupar a los estudiantes en varios grupos de patrones temporales, utilizando la autocorrelación y las pendientes de la regresión lineal. Ten en cuenta que estas variables tienen unidades diferentes. Utiliza el método Silhouette Score para crear los grupos. Tiene que haber más de 2 grupos. Decide cuántos harás según lo que has obtenido de Silhouette Score y la restricción que te he dado.
Prompt 4
Análisis de los grupos de patrones de rendimiento.
1) En cada uno de los grupos que has creado calcula la autocorrelación de las medias de los alumnos que contiene. Comprueba si las autocorrelaciones son distintas de 0 mediante el test de Ljung-Box
2) En cada uno de los grupos que has creado calcula la regresión lineal de las medias de los alumnos que contiene. Comprueba si las autocorrelaciones son distintas de 0.
Prompt 5
Tabla resumen que permite interpretar los grupos de rendimiento que se han creado.
Analiza los resultados y da un nombre corto con significado educativo a cada grupo, estos nombres cortos no pueden estar repetidos. Revisa los resultados de los alumnos para asignar nombres distintos.
Escribe una tabla Markdown con los siguientes datos: 1) Nombre del grupo. 2) Lista de los alumnos de cada grupo. 3) Autocorrelación. Etiqueta la columna como: Relación entre una prueba y la posterior (autocorrelación). 4) Una interpretación de una o dos palabras, teniendo en cuenta el resultado del test de Ljung-Box, indicando el significado docente de la autocorrelación:
4.1) Autocorrelación significativamente distinta de 0 y positiva: Rendimiento consistente.
4.2) Autocorrelación significativamente distinta de 0 y negativa: Rendimiento inverso.
4.3) Autocorrelación no significativamente distinta de 0: Rendimiento aleatorio.
5) Pendiente de la regresión lineal. Etiquétala en la columna como: Tendencia del rendimiento (pendiente de la regresión). 6) Una interpretación de una palabra indicando:
6.1) Si la pendiente es significativamente distinta de 0 y positiva: Mejorando
6.2) Si la pendiente es significativamente distinta de 0 y negativa: Empeorando.
6.3) Si la pendiente no es significativamente distinta de 0: Constante.
Recuerda: NO puedes repetir los nombres cortos de los grupos
Prompt 6
Gráfico del PCA: Visualización gráfica de los grupos y alumnos según los patrones de rendimiento utilizando ejes de coordenadas.
1) Realiza un análisis de componentes principales de todos los alumnos, usando como datos las autocorrelaciones y las pendientes de las regresiones de cada alumno.
2) Representa gráficamente cada alumno en las dos primeras componentes: 2.1) Utiliza símbolos distintos para cada grupo temporal y escribe los nombres descriptivos que les pusiste en la leyenda del gráfico. 2.2) ETIQUETA cada punto dentro del gráfico con el nombre real del alumno (no uses números) que tienes en los datos originales que subí al principio. 2.3) Identifica los grupos creados con k-means en la gráfica mediante elipses calculadas a partir de las medias y las desviaciones estándar para que cubran el 95% de las observaciones. Antes comprueba si alguna desviación estándar es cero y en ese caso no dibujes elipse para estos alumnos.
3) Dame una interpretación de cada grupo de patrones temporales que me pueda resultar útil como profesor para ayudar a mis alumnos. En cada grupo vuelve a escribir la lista completa de alumnos. Escribe comentarios para los alumnos, especialmente si algún alumno destaca en algún aspecto, positivo o negativo.
Recuerda que en el PCA las etiquetas de los alumnos tienen que ser sus nombres reales, no los identifiques con números.
Prompt 7
Dendrograma: Agrupamiento de los alumnos según la semejanza en sus patrones temporales de rendimiento. El objetivo de este gráfico es el mismo que el anterior, pero usando una visualización diferente y más detallada (aquí no aparecen representados los grupos).
Utiliza el agrupamiento jerárquico aglomerativo con el método de Ward para clasificar a los alumnos utilizando las coordenadas del PCA. Crea un dendrograma con los nombres de los alumnos en el eje VERTICAL para visualizar la agrupación jerárquica de los alumnos.
Prompt 8
Informe final de resultados que deberemos copiar y pegar en un documento de texto, junto con los dos gráficos que se han generado anteriormente.
Vuelve a leer TODA nuestra conversación y escribe un informe final con las conclusiones finales a todo el trabajo que has hecho, centrándote en las pruebas. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. Este informe está dedicado a personas que no saben estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. El informe deberá incluir: 1) Una introducción de menos de 110 palabras sobre el propósito de este trabajo (analizar los patrones de rendimiento a lo largo del tiempo) y el significado y repercusiones educativas de las autocorrelaciones (positivas o negativas) y regresiones lineales (mejorar, no cambiar o empeorar) en este contexto. 2) La tabla markdown de todos los alumnos con el nombre del grupo temporal al que pertenecen, las autocorrelaciones, las pendientes de las regresiones, su nivel de significación y las interpretaciones de ambas. 3) La tabla markdown de los grupos de k-mean con la autocorrelación, los alumnos que hay en cada grupo, los coeficientes de la regresión y las interpretaciones de ambos. 4) El gráfico PCA con una breve explicación de cómo se interpreta. 5) El dendrograma con una breve explicación de cómo se interpreta 6) Interpretación de cada grupo de patrones temporales que me pueda resultar útil como profesor para ayudar a mis alumnos. En cada grupo vuelve a escribir la lista completa de alumnos. Escribe comentarios para los alumnos, especialmente si algún alumno destaca en algún aspecto, positivo o negativo. Estos comentarios deben ser útiles, relevantes, profesionales y con ideas concretas para aplicar a las características de cada grupo, si lo necesitas, revisa los datos que tienes sobre cada grupo. 7) Añade cualquier otro aspecto que no he tenido en cuenta en los puntos anteriores y creas que puede ser útil para la mejora de la práctica docente a nivel de profesorado y/o de alumnado y que tenga relación con este trabajo. Han de ser consideraciones concretas basadas en los resultados obtenidos, no escribas recomendaciones generales.
Ejemplo completo
En este ejemplo se han usado nombres ficticios para notas de los deberes de matemáticas de 1º de bachillerato durante todo un año. La conversación mantenida con ChatGPT, excepto gráficos, se puede consultar en este enlace.
Datos utilizados
Se exportaron las notas desde Classroom y se eliminaron las columnas de exámenes y otros trabajos que no se querían incluir, se modificó el título de cada columna por otros más sencillos de manejar y por último se cambiaron los nombres por otros y se exportó en formato CSV. El resultado es el siguiente:
Este informe se ha obtenido copiando y pegando el resultado del prompt 8, tal como estaba, en un procesador de textos. La imagen del PCA se ha obtenido del prompt 6 y el dendrograma del prompt 7.
tEste análisis se centra en las pruebas realizadas a los alumnos (exámenes, ejercicios, deberes, trabajos, etc.) y no en los propios alumnos. Es, pues, un análisis de la tarea del docente que nos permite una autoevaluación de la actividad del enseñante hecha a través de las notas del alumnado.
Lógicamente, la autoevaluación incluye otros aspectos de carácter muy diferente a los realizados aquí. No obstante, es una evaluación objetiva que puede resultar de gran utilidad para el enseñante como complemento a otras formas de evaluación.
Prueba de normalidad de Shapiro-Wilk y de Levene para igualdad de varianzas.
Igualdad de medias:
ANOVA si se cumplen los criterios de normalidad y homocedasticidad.
Kruskall-Wallis si no se cumplen.
Análisis de Componentes Principales (PCA) para comprobar visualmente las relaciones entre las pruebas en las dos primeras componentes.
Preparación de los datos para su análisis
Los datos deben tenerse en una hoja de cálculo con los nombres de los alumnos en la primera columna y las notas a partir de la segunda. En la primera fila pondremos los títulos de las columnas sin espacios. Si tenemos notas faltantes, ChatGPT hallará la media de los otros alumnos y se las pondrá a estos alumnos. Si no deseamos esto podemos eliminar los alumnos a los que les falten notas o completarlas antes de empezar el análisis. No debemos tener nada más en esta hoja de cálculo que los nombres y las notas.
Descargamos los datos en formato CSV.
Subimos el archivo en el prompt 1
Prompts
En total hay 7 prompts, de los cuales 5 son de análisis y dos de conclusiones. Estos dos últimos son los que tendrán más relevancia para el profesorado.
Prompt 1
Análisis de la estructura de los datos y solución de problemas. En este prompt debemos subir el archivo CSV con los datos.
Actúa como un profesor experto en estadística que desea analizar las calificaciones de varios varias pruebas donde el aprobado está en 5. Me gustaría obtener un análisis completo de las pruebas que han hecho los alumnos. Aquí están las calificaciones en un archivo CSV. Por favor, realiza lo siguiente:
1. Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2. Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, calcula la media de la columna.
Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento. Si escribes alguna tabla, hazlo con formato Markdown.
Prompt 2
Estadísticas básicas y tests de normalidad y homocedasticidad.
A partir de ahora nos vamos a centrar en las pruebas, no en los alumnos.
1. Calcula la media, mediana y desviación estándar obtenida en cada prueba.
2. Realiza el test de normalidad de Shapiro-Wilk.
3. Escribe una tabla Markdown con todos los resultados anteriores.
4. Realiza la prueba de igualdad de varianzas de Levene para las pruebas.
5. Realiza una interpretación de los resultados anteriores que pueda ser útil para que los profesores entiendan las relaciones entre las pruebas, desde un punto de vista docente, y apta para personas sin conocimientos en estadística. Escribe unas conclusiones que sirvan para mejorar la práctica docente y resolver problemas.
Prompt 3
Comparación de todos los pares de medias.
1. Utiliza el método más apropiado, teniendo en cuenta el test de normalidad y de igualdad de varianzas, para comprobar si las medias entre las pruebas son iguales o no. Escribe qué métodos estás utilizando.
2. Si las medias no son iguales, selecciona y aplica el test más apropiado para identificar cuáles de ellas son distintas y cuáles presentan similitud.
3. Comprueba que los niveles de significación (p) son coherentes y tienen valores entre 0 y 1.
Prompt 4
Interpretación del prompt anterior.
Realiza una interpretación de los resultados de la igualdad de medias que pueda ser útil para que los profesores entiendan las relaciones entre las pruebas, desde un punto de vista docente, y apta para personas sin conocimientos en estadística. Escribe unas conclusiones que sirvan para mejorar la práctica docente y resolver problemas. Cuando hables de la dificultad de las pruebas, revisa sus medias para asegurarte que haces bien la interpretación.
Prompt 5
Análisis en Componentes principales para ver la relación entre las pruebas.
Realiza un PCA para las pruebas y dibuja en los dos primeros ejes las pruebas etiquetando cada punto con los nombres de las pruebas. Haz una TABLA en Markdown con el porcentaje de la variabilidad explicada por cada componente, así como la variabilidad acumulada. Haz una interpretación de los resultados del PCA analizando las puntuaciones de las pruebas y su situación en los ejes. Esta interpretación debe ser útil para que los profesores entiendan las relaciones entre las pruebas, desde un punto de vista docente, y apta para personas sin conocimientos en estadística. Escribe unas conclusiones que sirvan para mejorar la práctica docente y resolver problemas.
Prompt 6
Elaboración de las conclusiones finales.
Vuelve a leer toda nuestra conversación y escribe un informe con las conclusiones finales a todo el trabajo que has hecho centrándote en las pruebas. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. Este informe está dedicado a personas sin conocimientos de estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. El informe deberá incluir:
1. Conclusiones para las medias, medianas, desviación estándar y normalidad de las muestras.
2. Conclusiones sobre la igualdad de medias de las pruebas.
3. Conclusiones sobre PCA, añade el gráfico PCA.
4. Recomendaciones prácticas para el profesor relacionadas con estas conclusiones.
5. Cualquier otro aspecto que creas de utilidad para la mejora de la práctica docente.
6. A partir de estos resultados y conclusiones escribe la autoevaluación del docente que ha realizado estas pruebas a sus alumnos.
Prompt 7
Creación de un documento de Word con los resultados.
Haz un documento DOCX con TODO lo que acabas de escribir, sin dejar nada, adaptando el formato del texto y tablas a este tipo de archivo, añade también la imagen del PCA, si es necesario la vuelves a crear.
ChatGPT-4 facilita la autoevaluación docente a través del análisis de las pruebas y calificaciones de los alumnos. Este análisis, que incluye estadísticas básicas, pruebas de normalidad, igualdad de medias y análisis de componentes principales, revela patrones útiles para mejorar la práctica docente y resolver problemas. La interpretación de estos resultados es muy útil para su aplicación práctica en el aula.
No hace mucho que publicamos el artículo Análisis de los resultados de las calificaciones de una prueba con ChatGPT-4, donde se daban una serie de estadísticas para el caso de una prueba de cualquier tipo con calificación. En este artículo generalizamos las estadísticas a varias pruebas de forma simultánea, por lo que puede ser útil para ver el estado de nuestros alumnos al final del trimestre o después de realizar varias actividades.
Las estadísticas que se pueden hacer son de muchos tipos, pero hemos tenido que decidirnos por algo que fuese breve, pero informativo por dos motivos: en primer lugar ChatGPT no puede recordar de forma ilimitada y llega un momento en que se pierde totalmente y no es posible realizar un análisis de forma sencilla y semiautomática; en segundo, un exceso de estadísticas acaban produciendo el efecto contrario al deseado y todo esto puede convertirse en un motivo de infoxicación y el consecuente desánimo que produce.
Así que hemos decidido hacer unas pruebas rápidas para ver el estado de los alumnos mediante el análisis de las notas y la creación de grupos de rendimiento, donde podemos ver de forma objetiva lo que dicen las notas sobre nuestros alumnos.
Si no te interesan los detalles de las estadísticas, puedes pasar directamente a la Preparación de los datos.
Requerimientos
Este análisis necesita de ChatGPT-4 con el modelo Code Interpreter activado.
Se necesitan al menos 2 conjuntos de notas, pero el análisis funciona mejor con más notas.
Estadísticas más relevantes realizadas
Para los grupos, el algoritmo k-means y la selección del número de grupos mediante Silhouette Score.
El dendrograma que muestra la semejanza entre alumnos mediante el método de agrupamiento jerárquico aglomerativo con el método de Ward.
Tanto k-means como el agrupamiento jerárquico han utilizado la distancia euclídea.
Un análisis de componentes principales (PCA) para visualizar gráficamente los grupos creados por k-means y los alumnos.
Elipses de pertenencia a los grupos del gráfico PCA:
Centro: El centro de la elipse se calcula como la media de las dos primeras componentes principales (PC1 y PC2) para cada grupo. Esto da la ubicación promedio de los estudiantes en ese grupo en el espacio de las dos primeras componentes principales.
Ancho y alto: El ancho y el alto de la elipse se calculan como la desviación estándar de las dos primeras componentes principales (PC1 y PC2) para cada grupo, multiplicada por 2. Esto da una medida de la dispersión de los estudiantes en ese grupo en el espacio de las dos primeras componentes principales, cubriendo el 95 % de las observaciones.
Preparación de datos
Los datos deben tenerse en una hoja de cálculo con los nombres de los alumnos en la primera columna y las notas a partir de la segunda. En la primera fila pondremos los títulos de las columnas sin espacios. Si tenemos notas faltantes, ChatGPT hallará la media de los otros alumnos y se las pondrá a estos alumnos. Si no deseamos esto podemos eliminar los alumnos a los que les falten notas o completarlas antes de empezar el análisis. No debemos tener nada más en esta hoja de cálculo que los nombres y las notas.
Descargamos los datos en formato CSV.
Subimos el archivo en el prompt 1
PROMPTS
Hemos hecho 6 prompts que se resumen al final en las conclusiones, tanto a través del chat como en un documento de Word. Por lo tanto, para el docente, las respuestas a las que debe prestar más atención son las dos últimas.
Prompt 1
En este prompt ChatGPT analizará la estructura de los datos e intentará arreglar cualquier cosa que no esté bien. Aquí debemos subir el archivo CSV que contendrá exclusivamente los nombres de los alumnos en la primera columna y las notas en las siguientes.
Actúa como un profesor experto en estadística que desea analizar las calificaciones de varios varias pruebas donde el aprobado está en 5. Me gustaría obtener un análisis completo de las calificaciones de los alumnos. Aquí están las calificaciones en un archivo CSV. Por favor, realiza lo siguiente:
1. Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2. Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, calcula la media de la columna.
Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento.
Prompt 2
En este prompt, hará grupos de alumnos basándose en las notas de los diferentes ejercicios. Estos grupos son naturales, es decir, se deducen a partir de los datos que hemos introducido.
1 . Utiliza el algoritmo de k-means para agrupar a los estudiantes en varios grupos de según su rendimiento (grupos de rendimiento). Utiliza el método Silhouette Score para crear los grupos.
2. Analiza los datos de los grupos de rendimiento que acabas de hacer y asígnales un nombre diferente a cada uno de ellos con significado educativo que describa el rendimiento. Interpreta y explica el significado académico de cada grupo.
3. Escribe los grupos de rendimiento, ordenados de mejor a peor, la media de las notas de cada grupo, así como la media total de cada grupo y la lista completa de alumnos que tiene cada grupo en forma de TABLA Markdown.
4. Extrae conclusiones sobre los puntos anteriores relevantes para la práctica docente de un profesor.
Justo antes de mostrar los resultados de los análisis que te he pedido, comprueba que el número de alumnos coincide exactamente con los que hay en el archivo de datos original.
Prompt 3
Con este prompt, ChatGPT nos hará un árbol donde podremos ver los alumnos agrupados por similitudes.
Utiliza el agrupamiento jerárquico aglomerativo con el método de Ward. Crea un dendrograma con los nombres de los alumnos en el eje VERTICAL para visualizar la agrupación jerárquica de los estudiantes según su rendimiento.
Prompt 4
Aquí se hace algo parecido a lo anterior, pero utilizando una gráfica en dos dimensiones, podremos ver similitudes entre alumnos, además los grupos que se hicieron antes quedarán bien visibles.
1. Haz un análisis PCA de los alumnos.
2. Haz un gráfico con las 2 primeras componentes y escribe los nombres de los alumnos en las etiquetas, utiliza símbolos y colores diferentes para los distintos grupos.
3. Delimita claramente los grupos de rendimiento mediante elipses.
4. Dame los porcentajes de varianza explicada y acumulada de todas las componentes en una tabla Markdown.
5. Explica lo que significa el gráfico y los porcentajes de la tabla que has hecho, debajo de cada uno.
Prompt 5
Escritura de conclusiones.
Crea las conclusiones finales a todo el trabajo que has hecho. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. Este informe está dedicado a personas que no saben estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. Debe tener, al menos, los siguientes elementos:
1. Grupos de rendimiento con su media total y alumnos en una tabla Markdown.
2. Imagen dendrograma con los alumnos en el eje vertical y explicación de su significado. Debes incluir esta imagen que ya hiciste antes.
3. Imagen del PCA y explicación de su significado. Debes incluir esta imagen que ya hiciste antes.
4. Conclusiones generales para los alumnos y mención expresa de los nombres de los alumnos que necesitan ayuda con algunas recomendaciones.
5. Añade cualquier otra cuestión que pueda servir a los alumnos o al profesor para mejorar su práctica docente
Prompt 6
Creación de un documento de Word a partir de las mismas conclusiones anteriores.
Haz un documento DOCX con lo que acabas de escribir, adaptando el formato del texto y tablas a este tipo de archivo, añade también las imágenes del dendrograma y PCA
Ejemplo
Hemos hecho un ejemplo con notas reales. La conversación con ChatGPT no ha podido ser enlazada, ya que en el momento de escribir esto la opción estaba deshabilitada. Los datos se pueden descargar del siguiente archivo CSV:
El uso de ChatGPT-4 para analizar calificaciones de múltiples pruebas ha demostrado ser muy útil. Permite a los docentes obtener una visión objetiva del rendimiento de los alumnos, ayudando a mejorar las estrategias de enseñanza. A pesar de las limitaciones de memoria, ChatGPT-4 maneja grandes conjuntos de datos y proporciona análisis significativos. La creación de grupos de rendimiento es una característica muy útil. El empleo de técnicas de agrupamiento y análisis de componentes principales proporciona una visión más profunda de las similitudes y diferencias entre los alumnos. Además, ChatGPT-4 genera informes comprensibles, haciendo los análisis accesibles para docentes.
En este artículo describimos los prompts necesarios para hacer el análisis de los resultados académicos de unas calificaciones de clase: examen, ejercicios, deberes, etc. Es importante recalcar que solo sirve para analizar las notas de un único examen o ejercicio. Más adelante publicaremos otro trabajo para analizar un conjunto de calificaciones pertenecientes a varias pruebas.
ChatGPT se encarga de todo, eso incluye los cálculos y, lo más importante, qué significan y qué conclusiones se extraen. Es igual que tener una persona experta en estadística que nos hace los cálculos y nos explica lo que quieren decir.
Este análisis utiliza estadística básica (como los estadísticos de dispersión y centralización) y también métodos de aprendizaje automático sin supervisión (método k-means y de aglomeración jerárquica).
Requerimientos
Para poder hacer este análisis necesitamos de la versión 4 de ChatGPT con el modelo Code Interpreter activado.
Un único conjunto de notas.
Descripción de los resultados
El proceso descrito acaba generando un documento de tipo DOCX que contiene las interpretaciones y conclusiones del estudio realizado. En él se incluyen:
Análisis general de las notas:
Media: Es la medida que proporciona un valor central representativo del conjunto de datos.
Mediana: Es la nota que tiene al 50 % de los alumnos a cada lado.
Rango: Diferencia entre la calificación más alta y más baja.
Desviación estándar: Es la medida de la variabilidad de las notas.
Histograma: Es un gráfico donde se representa cuántos alumnos obtuvieron cada nota.
Boxplot: Es un gráfico que representa la mediana, entre qué notas se encuentra el 50 % de los alumnos, la nota mínima y la nota máxima.
Análisis de los alumnos según su rendimiento
Grupos de rendimiento: ChatGPT divide a los alumnos en grupos naturales, es decir, los grupos que se pueden observar en las notas. A cada uno le asigna un nombre y nos proporciona su media, así como los alumnos que contiene.
Dendrograma: es un gráfico que agrupa a los alumnos de forma visual. Con él podremos ver las relaciones entre los alumnos según su rendimiento y también podremos visualizar los grupos de rendimiento que se han creado. Es un gráfico muy útil para comprender la tipología del alumnado en nuestra clase.
Preparación de los datos
Necesitamos tener una hoja de cálculo con dos columnas, en la primera los nombres de los alumnos, en la segunda las notas que queremos analizar.
Este archivo lo descargaremos en formato CSV, que ChatGPT maneja bien y lo subiremos en el primer prompt.
Prompt 1
En este prompt debemos cargar el archivo CSV con los datos.
Este prompt se ocupa de cargar los datos, analizarlos, calcular las estadísticas del examen y crear el histograma y el boxplot. Aquí debemos indicar en qué valor se encuentra el aprobado (se ha supuesto que está en 5) y podemos añadir la asignatura y el tema o formato de la prueba en el espacio entre corchetes, por ejemplo:
Actúa como un profesor experto en estadística que acaba de calificar un formulario online sobre los orgánulos celulares donde el aprobado está en 5
Esto proporciona un contexto que ayudará a ChatGPT en su análisis.
Actúa como un profesor experto en estadística que acaba de calificar un [examen] donde el aprobado está en 5. Me gustaría obtener un análisis completo de las calificaciones de los alumnos. Aquí están las calificaciones en un archivo CSV. Por favor, realiza lo siguiente:
1. Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.
2. Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, elimina ese alumno.
3. Calcula estadísticas descriptivas de las calificaciones, incluyendo la media, mediana y desviación estándar. Haz una interpretación académica de los resultados.
4. Crea un histograma y un boxplot para visualizar la distribución de las calificaciones e interpreta académicamente los resultados.
Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento.
Prompt 2
Este prompt crea los grupos de rendimiento del alumnado.
Ahora vas a analizar el rendimiento de los alumnos:
1. Utiliza el algoritmo de k-means para agrupar a los estudiantes en varios grupos según su rendimiento. Utiliza el método Silhouette Score para crear los grupos. Analiza los datos de los grupos de rendimiento que acabas de hacer y asígnales un nombre diferente a cada uno de ellos con significado educativo que describa el rendimiento. Interpreta y explica el significado académico de cada grupo. Asegúrate también que los nombres de los grupos son coherentes con sus medias, es decir, los de rendimiento bajo no pueden tener una media superior a los de rendimiento medio, etc.
2. Escribe los grupos de rendimiento, ordenados de mejor a peor, la media de las notas de cada grupo, así como la media total de cada grupo y la lista completa de alumnos que tiene cada grupo en forma de TABLA Markdown.
3. Utiliza el agrupamiento jerárquico aglomerativo con el método de Ward. Crea un dendrograma con los nombres de los alumnos en el eje VERTICAL para visualizar la agrupación jerárquica de los estudiantes según su rendimiento.
Antes de mostrar los resultados comprueba que el número de alumnos coincide exactamente con los que hay en el archivo de datos original.
Prompt 3
Se extraen conclusiones sobre los resultados del examen.
Extrae conclusiones sobre el rendimiento de los alumnos en general como clase en el examen basándote en los análisis anteriores y comenta los alumnos que necesiten algún comentario adicional (por rendimiento deficiente, excelente, etc.). Estas conclusiones deben servir al profesor para mejorar su práctica docente y detectar problemas
Prompt 4
Se realiza un informe, esta es la parte más importante.
A continuación harás un informe con conclusiones. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. El informe está destinado a personas que no saben estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. Escribe un informe que contenga lo siguiente:
1. Todos los resultados, explicaciones y conclusiones de tu estudio, incluyendo las medidas de centralización y dispersión con sus interpretaciones académicas. No olvides incluir los alumnos pertenecientes a cada grupo, así como una interpretación de lo que son estos grupos con la media que tiene cada uno.
2. Incluye las imágenes de los gráficos creados anteriormente, también el dendrograma. Añade una interpretación para cada uno de ellos, de forma que el lector sepa lo que está viendo.
3. Escribe las conclusiones generales que has escrito antes destinadas a la mejora docente. Haz mención expresa de los nombres de los alumnos que necesitan más ayuda con algunas recomendaciones.
Céntrate en las interpretaciones, resultados, rendimientos, conclusiones y consejos.
Prompt opcional
Si deseamos un informe en formato Word usaremos este prompt adicional. Esta tarea a veces le lleva mucho trabajo, ya que comete errores con frecuencia y lo repite una y otra vez. Pulsar el botón Regenerate puede dar buenos resultados.
Haz un documento DOCX con lo que acabas de escribir, adaptando el formato del texto y tablas a este tipo de archivo, añade también las imágenes del histograma, boxplot y dendrograma
Ejemplo
Hemos realizado un ejemplo con notas reales correspondientes a notas de matemáticas de 1° de Bachillerato. El archivo CSV se encuentra a continuación:
La conversación completa puede leerse a través de este enlace que no muestra ni los gráficos ni los enlaces que contiene.
Conclusiones
Con estos 4 prompts podemos realizar un análisis exhaustivo de las notas de clase que de otro modo sería prohibitivo por el tiempo y los recursos necesarios como son los programas de estadística multivariante.
Más adelante se publicará otro artículo donde se analicen un conjunto de notas.
Sería insensato, y contradictorio en sí mismo, pensar que es posible hacer lo que hasta ahora nunca se ha hecho por procedimientos que no sean totalmente nuevos.
Comentarios recientes