No hace mucho que publicamos el artículo Análisis de los resultados de las calificaciones de una prueba con ChatGPT-4, donde se daban una serie de estadísticas para el caso de una prueba de cualquier tipo con calificación. En este artículo generalizamos las estadísticas a varias pruebas de forma simultánea, por lo que puede ser útil para ver el estado de nuestros alumnos al final del trimestre o después de realizar varias actividades.

Las estadísticas que se pueden hacer son de muchos tipos, pero hemos tenido que decidirnos por algo que fuese breve, pero informativo por dos motivos: en primer lugar ChatGPT no puede recordar de forma ilimitada y llega un momento en que se pierde totalmente y no es posible realizar un análisis de forma sencilla y semiautomática; en segundo, un exceso de estadísticas acaban produciendo el efecto contrario al deseado y todo esto puede convertirse en un motivo de infoxicación y el consecuente desánimo que produce.

Así que hemos decidido hacer unas pruebas rápidas para ver el estado de los alumnos mediante el análisis de las notas y la creación de grupos de rendimiento, donde podemos ver de forma objetiva lo que dicen las notas sobre nuestros alumnos.

Utilizado junto con el análisis: Autoevaluación Docente: Evaluación y Análisis de la Eficiencia de las Pruebas con ChatGPT-4, cuyo objetivo es el propio enseñante a través de las notas de sus alumnos, forma un estudio muy completo de las calificaciones.

Si no te interesan los detalles de las estadísticas, puedes pasar directamente a la Preparación de los datos.

Requerimientos

  1. Este análisis necesita de ChatGPT-4 con el modelo Code Interpreter activado.
  2. Se necesitan al menos 2 conjuntos de notas, pero el análisis funciona mejor con más notas.

Estadísticas más relevantes realizadas

  • Para los grupos, el algoritmo k-means y la selección del número de grupos mediante Silhouette Score.
  • El dendrograma que muestra la semejanza entre alumnos mediante el método de agrupamiento jerárquico aglomerativo con el método de Ward.
  • Tanto k-means como el agrupamiento jerárquico han utilizado la distancia euclídea.
  • Un análisis de componentes principales (PCA) para visualizar gráficamente los grupos creados por k-means y los alumnos.
  • Elipses de pertenencia a los grupos del gráfico PCA:
    • Centro: El centro de la elipse se calcula como la media de las dos primeras componentes principales (PC1 y PC2) para cada grupo. Esto da la ubicación promedio de los estudiantes en ese grupo en el espacio de las dos primeras componentes principales.
    • Ancho y alto: El ancho y el alto de la elipse se calculan como la desviación estándar de las dos primeras componentes principales (PC1 y PC2) para cada grupo, multiplicada por 2. Esto da una medida de la dispersión de los estudiantes en ese grupo en el espacio de las dos primeras componentes principales, cubriendo el 95 % de las observaciones.

Preparación de datos

  1. Los datos deben tenerse en una hoja de cálculo con los nombres de los alumnos en la primera columna y las notas a partir de la segunda. En la primera fila pondremos los títulos de las columnas sin espacios. Si tenemos notas faltantes, ChatGPT hallará la media de los otros alumnos y se las pondrá a estos alumnos. Si no deseamos esto podemos eliminar los alumnos a los que les falten notas o completarlas antes de empezar el análisis. No debemos tener nada más en esta hoja de cálculo que los nombres y las notas.
  2. Descargamos los datos en formato CSV.
  3. Subimos el archivo en el prompt 1

PROMPTS

Hemos hecho 6 prompts que se resumen al final en las conclusiones, tanto a través del chat como en un documento de Word. Por lo tanto, para el docente, las respuestas a las que debe prestar más atención son las dos últimas.

Prompt 1

En este prompt ChatGPT analizará la estructura de los datos e intentará arreglar cualquier cosa que no esté bien. Aquí debemos subir el archivo CSV que contendrá exclusivamente los nombres de los alumnos en la primera columna y las notas en las siguientes.

Actúa como un profesor experto en estadística que desea analizar las calificaciones de varios varias pruebas donde el aprobado está en 5. Me gustaría obtener un análisis completo de las calificaciones de los alumnos. Aquí están las calificaciones en un archivo CSV. Por favor, realiza lo siguiente:

1. Carga los datos y realiza un análisis exploratorio inicial para entender la estructura de los datos.

2. Limpia y preprocesa los datos si es necesario, por ejemplo, convirtiendo las calificaciones a formato numérico. Si falta algún valor, calcula la media de la columna.

Realiza estas tareas y las que te diré más tarde sin interrupciones. Como eres un profesor experto en estadística, si hay que tomar alguna decisión lo harás tú en el momento.

Prompt 2

En este prompt, hará grupos de alumnos basándose en las notas de los diferentes ejercicios. Estos grupos son naturales, es decir, se deducen a partir de los datos que hemos introducido.

1 . Utiliza el algoritmo de k-means para agrupar a los estudiantes en varios grupos de según su rendimiento (grupos de rendimiento). Utiliza el método Silhouette Score para crear los grupos.

2. Analiza los datos de los grupos de rendimiento que acabas de hacer y asígnales un nombre diferente a cada uno de ellos con significado educativo que describa el rendimiento. Interpreta y explica el significado académico de cada grupo.

3. Escribe los grupos de rendimiento, ordenados de mejor a peor, la media de las notas de cada grupo, así como la media total de cada grupo y la lista completa de alumnos que tiene cada grupo en forma de TABLA Markdown.

4. Extrae conclusiones sobre los puntos anteriores relevantes para la práctica docente de un profesor.

Justo antes de mostrar los resultados de los análisis que te he pedido, comprueba que el número de alumnos coincide exactamente con los que hay en el archivo de datos original.

Prompt 3

Con este prompt, ChatGPT nos hará un árbol donde podremos ver los alumnos agrupados por similitudes.

Utiliza el agrupamiento jerárquico aglomerativo con el método de Ward. Crea un dendrograma con los nombres de los alumnos en el eje VERTICAL para visualizar la agrupación jerárquica de los estudiantes según su rendimiento.

Prompt 4

Aquí se hace algo parecido a lo anterior, pero utilizando una gráfica en dos dimensiones, podremos ver similitudes entre alumnos, además los grupos que se hicieron antes quedarán bien visibles.

1. Haz un análisis PCA de los alumnos.

2. Haz un gráfico con las 2 primeras componentes y escribe los nombres de los alumnos en las etiquetas, utiliza símbolos y colores diferentes para los distintos grupos.

3. Delimita claramente los grupos de rendimiento mediante elipses.

4. Dame los porcentajes de varianza explicada y acumulada de todas las componentes en una tabla Markdown.

5. Explica lo que significa el gráfico y los porcentajes de la tabla que has hecho, debajo de cada uno.

Prompt 5

Escritura de conclusiones.

Crea las conclusiones finales a todo el trabajo que has hecho. Estas conclusiones deben servir al profesor para MEJORAR SU PRÁCTICA DOCENTE Y RESOLVER PROBLEMAS. Este informe está dedicado a personas que no saben estadística, por lo tanto, usa un lenguaje sencillo y claro de entender, hazlo en forma de lista. Debe tener, al menos, los siguientes elementos:

1. Grupos de rendimiento con su media total y alumnos en una tabla Markdown.

2. Imagen dendrograma con los alumnos en el eje vertical y explicación de su significado. Debes incluir esta imagen que ya hiciste antes.

3. Imagen del PCA y explicación de su significado. Debes incluir esta imagen que ya hiciste antes.

4. Conclusiones generales para los alumnos y mención expresa de los nombres de los alumnos que necesitan ayuda con algunas recomendaciones.

5. Añade cualquier otra cuestión que pueda servir a los alumnos o al profesor para mejorar su práctica docente

Prompt 6

Creación de un documento de Word a partir de las mismas conclusiones anteriores.

Haz un documento DOCX con lo que acabas de escribir, adaptando el formato del texto y tablas a este tipo de archivo, añade también las imágenes del dendrograma y PCA

Ejemplo

Hemos hecho un ejemplo con notas reales. La conversación con ChatGPT no ha podido ser enlazada, ya que en el momento de escribir esto la opción estaba deshabilitada. Los datos se pueden descargar del siguiente archivo CSV:

not_ejercDescarga

El informe, una vez pasado a PDF, puede verse a continuación:

student_performanceDescarga

Conclusiones

El uso de ChatGPT-4 para analizar calificaciones de múltiples pruebas ha demostrado ser muy útil. Permite a los docentes obtener una visión objetiva del rendimiento de los alumnos, ayudando a mejorar las estrategias de enseñanza. A pesar de las limitaciones de memoria, ChatGPT-4 maneja grandes conjuntos de datos y proporciona análisis significativos. La creación de grupos de rendimiento es una característica muy útil. El empleo de técnicas de agrupamiento y análisis de componentes principales proporciona una visión más profunda de las similitudes y diferencias entre los alumnos. Además, ChatGPT-4 genera informes comprensibles, haciendo los análisis accesibles para docentes.