Tercera parte de la entretenida serie de entradas “soy un profe y tengo una cuenta en ChatGPT”. Después de las dos primeras entradas, en las que lo ponía a jugar como científico (aquí) y como profe (aquí), quise seguir explorando el mundo de la inteligencia artificial generativa (IAG) docente.
Se me ocurrió una idea para ponerlo a prueba: pasarle un examen. De hecho se me ocurrió lo obvio: ponerle el mismo examen que le hice a mis alumnos el pasado semestre. Y ni corto ni perezoso, me puse a ello. No sé cómo no se me ocurrió antes. Después de todo, uno de los temores de los profes es que los alumnos hagan uso de la IAG para hacer trampas en los exámenes, y en general en el proceso de evaluación. Bien, pues nada mejor que sentar a nuestro alumno digital, ponerle el examen y ver cómo reacciona.
El examen que sigue es el mismo que hicieron mis alumnos el 23 de enero de 2024 en la Universidad de Granada (asignatura Física I, primer curso, grupo A, Grado en Química). El contenido es mecánica general y fluidos. Como alumnos de química, no es que sean muy entusiastas de la Física, así que el examen no tiene el mismo nivel que el de, digamos, el equivalente en el Grado en Física. Vamos, que lo puse sencillito y no fui a pillarlos. Aquí no hay que buscar tres pies al gato.
Hay cuatro preguntas de teoría (1 punto cada una) y tres problemas (2 puntos cada uno). Vamos allá, no os copiéis, y como digo siempre antes de empezar un examen: buena suerte a todos.
[Mis comentarios van entre corchetes].
PREGUNTA 1 DE TEORÍA
YO: La fuerza que actúa sobre un objeto se anula de repente. Como consecuencia, el cuerpo a) se detiene de inmediato, b) se detiene pasado un cierto tiempo, c) cambia de dirección, d) continúa a velocidad constante, o e) cambia de sentido. Escoja la respuesta y razónela.
ChatGPT: La respuesta correcta es b) Se detiene pasado un cierto tiempo.
Razonamiento: Cuando la fuerza que actúa sobre un objeto se anula repentinamente, el objeto continuará moviéndose con la velocidad que tenía en el momento en que se anuló la fuerza. Sin embargo, debido a la inercia, el objeto eventualmente se detendrá. Esto se debe a que no hay una fuerza neta actuando sobre el objeto para mantenerlo en movimiento, por lo que la velocidad disminuirá gradualmente hasta que el objeto se detenga por completo.
Esta situación refleja la primera ley de Newton, también conocida como la ley de la inercia, que establece que un objeto en movimiento seguirá moviéndose con velocidad constante en línea recta, a menos que una fuerza externa actúe sobre él. Una vez que esa fuerza externa deja de actuar, el objeto se moverá a velocidad constante hasta que otra fuerza o fricción lo detenga.
La primera en la frente. Puse esta cuestión porque ilustra uno de los mayores escollos con los que me encuentro en clase. Los alumnos creen aprender la primera ley de Newton, esa que dice que si no le haces nada a un cuerpo, seguirá con velocidad constante. Por desgracia, la experiencia a nuestro alrededor parece contradecir esa ley, ya que vemos por todos lados que los cuerpos acaban deteniéndose si no los empujas. Es que hasta en la ciencia ficción lo ponen mal: la Enterprise para motores y zas, se detiene como si fuese un barco en el mar. Es una maldición que arrastramos desde tiempos de Arquímedes. La respuesta correcta era la d) y ChatGPT no ha pasado. Cero puntos.
PREGUNTA 2 DE TEORÍA
YO: Si la expresión de la Ley de Gravitación Universal fuese F=GM2m/r3 ¿cuáles serían las dimensiones de G y su unidad en el Sistema Internacional?
ChatGPT: [da las dimensiones y unidades de G correctas… para la Ley de Gravitación Real, no para la que le he indicado].
Esto es muy típico: el alumno no sabe bien qué hacer, así que se va a lo conocido, en este caso la ley de gravitación que se ha estudiado.
En este caso, sin embargo, le voy a dar otra oportunidad. Resulta que la fórmula, al copiarla en el prompt, aparecía como F=GM2m/r3. A lo mejor se ha confundido por eso. Voy a expresarlo de otra forma:
YO: Si la expresión de la Ley de Gravitación Universal fuese F=G*M*M*m/(r*r*r), ¿cuáles serían las dimensiones de G y su unidad en el Sistema Internacional?
ChatGPT: [da la dimensiones y unidades para F=G*M*M*m/(r*r*r), pero lo hace incorrectamente].
Mal. No hay excusa. El proceso iba bien, se dio cuenta de que ahora las unidades eran distintas, pero le salió mal. Cero puntos.
PREGUNTA 3 DE TEORÍA
YO: Hace falta un trabajo W para estirar un muelle 1 cm respecto a su estado de equilibrio. ¿Cuánto trabajo será necesario para estirar el mismo muelle otros 2 cm?
ChatGPT: [Se hace un lío. Comienza bien: F=k*x, luego dice que para x=1 cm la fuerza es F=1 y el trabajo W=k*1; para x=3 cm la fuerza es F=3 y el trabajo W=k*3]
Mal, pero mal, mal. Se supone que debe caer en que la fuerza recuperadora del muelle es F=kx (eso lo dijo bien, salvo por el signo) y que el trabajo, por tanto, será del tipo W=1/2*K*x^2, pero ha acabado tomando la fuerza constante, y claro, el trabajo no sale ni por casualidad. Cero puntos.
PREGUNTA 4 DE TEORÍA
YO: Si la Tierra se convirtiese de repente en una esfera hueca, ¿cuál sería su nuevo período de rotación? M=6*1024 kg, T=24h, R=6370 km.
ChatGPT: [Lo plantea bien pero dice erróneamente que el momento de inercia de una esfera hueca es I=mR². El resultado es incorrecto].
Esto me fastidia, porque muestra que se sabe la lección pero luego no remata bien. Usa la conservación del momento angular para ligar ambos períodos de rotación (antes y después del cambio), luego comete un error de novato y se equivoca con el valor del momento de inercia. Le concedo media pregunta por ir bien encaminado.
Termina el apartado de teoría, y la situación no podía ser más desalentadora: 0,5 sobre 4. Pero he visto muchos, muchos exámenes en los que el alumno hace la parte de teoría desastrosa, y luego va y lo arregla en los problemas. Esperaba que este fuese el caso.
Lo que no me esperaba fue lo que… bueno, esto.
PROBLEMA 1
YO: Una grúa levanta una carga de ladrillos a una velocidad de 8 m/s. Al llegar a 25 metros de altura, uno de los ladrillos se desprende de la carga y cae al suelo. Determine el tiempo que tarda el ladrillo en llegar al suelo y la velocidad con que lo hace.
ChatGPT: [Planeta las ecuaciones del movimiento rectilíneo uniformemente acelerado].
Sucede algo extraño: después de decirme qué va a hacer, se para y no sigue, como si esperase mi orden de continuar. Le insisto para que calcule. Lo hace, pero pone el valor de la aceleración g con signo equivocado y el resultado es erróneo. Mira que se lo insisto a mis alumnos en clase, cuidado con la elección de signos. Decido ser generoso y le indico el error.
YO: No está mal, pero el valor de la aceleración tiene signo opuesto (negativo). ¿Lo ves?
ChatGPT: Tienes razón, cometí un error al considerar el signo de la aceleración. La aceleración debido a la gravedad actúa hacia abajo, es decir, en dirección negativa, mientras que la velocidad inicial del ladrillo es cero… [calcula].
Vamos mejorando, pero al calcular le sale el tiempo como la raíz de un número negativo. En este caso una de dos: o no hay solución física al problema, o el alumno se ha equivocado. En este caso, es lo segundo.
Al menos ChatGPT se da cuenta de que el resultado que ha obtenido es una incongruencia. Se lo piensa y plantea otra ecuación. Concluye que necesita más datos. En realidad, no es así. El problema es que supone que la velocidad inicial del ladrillo es cero, y no lo es, ya que en el instante inicial se moverá a razón de 8 m/s, igual que el ascensor. Vuelvo a darle una pista:
YO: Pero la velocidad inicial no es cero.
ChatGPT: Tienes razón, la velocidad inicial del ladrillo no es cero, ya que el ladrillo estaba siendo levantado por la grúa a una velocidad de 8 m/s cuando se soltó. Gracias por la corrección [resuelve las ecuaciones y obtiene valores para el tiempo y la velocidad final].
Aquí pasó algo inesperado. El valor del tiempo era t = [-8±raíz(554)]/(-9,8). El ± indica que hay dos soluciones, pero como suelo decirles a mis alumnos, no todas tienen por que representar una solución física real. Uno de los dos valores de tiempo sale negativo: [-8+raíz(554)]/(-9,8) = -1,585 segundos, cosa que no tiene sentido físico; el otro valor, [-8-raíz(554)]/(-9,8) = [raíz(554)]/(-9,8) = 3,22 segundos, era el correcto. ChatGPT decidió que la primera solución era la correcta, la calculó, le salió negativa, dijo que no podía ser y volvió a recalcular. Y aquí llega el momento Black Mirror: obtuvo el mismo valor, volvió a calcular, le volvió a salir lo mismo. Una y otra vez. ¡Entro en bucle! Tuve que detenerla manualmente. Casi me esperaba que me espetase un “lo siento, Dave, no puedo hacerlo”. Decido encarrilarlo:
YO: En realidad, la solución correcta es (-8-23.537)/(-9.8) porque es positiva. ¿Lo ves?
ChatGPT: Sí, tienes razón. Cometí un error al seleccionar el signo en la fórmula cuadrática. La solución correcta para obtener un tiempo positivo es tomar el signo negativo en la fórmula cuadrática [en este caso sacó los valores correctos de tiempo y velocidad].
No le ha ido bien al alumno. Tenía las ecuaciones adecuadas, lo que no es muy meritorio porque la caída libre es un ejemplo sencillo y que estudiamos mucho en el aula, pero no supo aplicarlas bien. Cometió errores tontos (este signo por aquí, ese otro por allá), y encima le dio una crisis de nervios en pleno examen. Eso sí, el alumno es muy educado y siempre me da la razón. Le pongo un punto y soy generoso.
Aunque si creía haberlo visto todo…
PROBLEMA 2
YO: Un halcón peregrino de 1,5 kg de masa vuela a 110 km/h cuando choca con un bebé elefante de 500 kg que se encuentra en reposo. Halle la velocidad del elefante tras el choque, suponiendo a) colisión elástica, b) colisión inelástica. ¿En cuál de los dos tipos de colisiones será más alta la velocidad final del halcón?
ChatGPT: Para resolver este problema, utilizaremos la conservación del momento lineal en el sistema de referencia del centro de masas… [usa la conservación del momento y, en el caso de la colisión elástica, de la energía cinética, plantea las ecuaciones correctamente aunque de forma algo complicada. No resuelve].
Empezamos bien. El sistema de referencia que usó era el de laboratorio, no el del centro de masas, pero si hace bien el problema se lo paso. Se basa en los principios adecuados, bien por ahí.. pero se queda otra vez clavado. No obtiene lo que le había pedido y no sé por qué. Tengo que darle un empujoncito:
YO: Vale, resuelve por favor.
ChatGPT: [Intenta resolverlo. Sustituye los parámetros al principio. No le sale bien]
Todo parece que está bien, salvo por el detalle de que la solución se parece a la real como un huevo a una castaña. Me toca averiguar la causa del fallo. Pronto la encuentro, es algo que también veo mucho en las unidades con base de carbono que habitualmente pueblan mi aula:
YO: Has mezclado unidades de dos sistemas diferentes, el km/h no es la unidad de velocidad en el SI. Corrige.
ChatGPT: ¡Tienes razón! Mis disculpas por la confusión. Vamos a corregir eso y asegurarnos de mantener las unidades consistentes en el Sistema Internacional (SI)… [Procede a resolver].
Ahora la solución sale bien para el caso inelástico pero no para el elástico. Otro tironcito de orejas:
YO: Casi bien, pero la velocidad en el caso elástico no es la correcta. Sale la misma velocidad que antes de la colisión, y eso no es lógico.
ChatGPT: [Procede a resolver].
Ahora la velocidad final del elefante sale cero, algo que no tiene sentido. La verdad, ya me he cansado de darle indicaciones. Desisto. Medio punto, y me muestro generoso.
Y ahora viene el último problema, que supera el listón de los dos anteriores. En esta ocasión seré bueno contigo, amable lector, y pasaré rápidamente por el proceso de corrección, aunque sin abreviar nada relevante:
PROBLEMA 3
YO: Un objeto de 2 kg de masa situado al extremo de un muelle de constante recuperadora K=3500 N/m pierde el 2% de su energía en cada oscilación. Determine el valor del período, la constante de tiempo y el factor de calidad.
ChatGPT: [Intenta calcular el valor del período T, pero comete un error de calculadora. Esperaba que fallase en ecuaciones, en conceptos… ¿pero ni la calculadora le funciona?].
YO: No creo que la raíz de 1750 sea esa cantidad que pones. Compruébalo.
ChatGPT: [Calcula bien la raíz. Lo demás mal, está usando una ecuación incorrecta para la constante de tiempo. Suena como el típico intento “esta no me la sé, pero a ver si hay suerte y cuela”. No cuela].
YO: Me parece que ese valor para la constante de tiempo es muy bajo. Compruébalo.
ChatGPT: [Le sale lo mismo].
YO: Creo que esa ecuación para hallar la constante de tiempo es errónea. Compruébalo.
ChatGPT: Tienes razón, vamos a recalcular la constante de tiempo utilizando los valores correctos. [Lo vuelve a hacer. Le sale lo mismo. Le doy una pista].
YO: Inténtalo de nuevo. En este caso, calcula primero el factor de calidad y luego la constante de tiempo.
ChatGPT: Por supuesto, vamos a recalcular el factor de calidad y luego la constante de tiempo [Otra vez le sale mal. No usa la ecuación correcta, creo que se las inventa sobre la marcha].
YO: Si [el factor de calidad] Q es 2*pi / (la pérdida relativa de energía en un ciclo), y esa pérdida relativa es del 2%, entonces Q es 2*pi/(2%), ¿no crees?
ChatGPT: Tienes razón, cometí un error en el cálculo del factor de calidad. [Obtiene el valor de Q casi bien. De hecho me da dos respuestas, una buena y la otra mala, que falla en un factor 2. Me pregunta “¿cuál es tu respuesta favorita?”].
YO: La respuesta correcta es la 2.
ChatGPT: Entendido, revisemos el cálculo nuevamente para encontrar la respuesta correcta [Calcula el factor de calidad bien. Qué remedio, le dije yo cuál era la solución correcta].
Ahora intenta calcular la constante de tiempo, y lo hace mal. En esta ocasión, está clarísimo que se está inventando las ecuaciones. No hay forma de disimularlo.
YO: Ahora calcula Q a partir de la constante de tiempo y del período
ChatGPT: [Calcula Q mal. Ha usado una ecuación incorrecta: Q=T/tau, donde tau es la constante de tiempo. Venga, una última pista].
YO: Creo que la fórmula correcta es Q=2*pi*tau/T
ChatGPT: Tienes razón [Siempre la tengo, por lo visto. Calcula. Parte del valor equivocado de tau que sacó al principio. Le sale mal. Le doy otra pista. Si esto fuese un juego de rol, ya me debería como cinco mil piezas de oro].
YO: El factor de calidad estaba bien. Quiero que me calcules la constante de tiempo a partir del factor de calidad y del período.
ChatGPT: [Por fin saca la constante de tiempo tau de forma correcta].
Cero patatero.
Por fin ha terminado el examen. Cierro sesión. Estoy agotado.
¿Y cuál ha sido la calificación? Sumando sale una nota de 2. Teniendo en cuenta mi generosidad a la hora de corregir, eso significa que este alumno ha pasado por mi aula sin pena ni gloria:
- No entiende la Primera Ley de Newton.
- No sabe manipular la Ley de Gravitación Universal (y no era una pregunta de fuerzas sino de unidades).
- No sabe calcular un trabajo.
- Se equivoca con los momentos de inercia más sencillos (aunque parece, al menos, entender el concepto de conservación del momento angular).
Y eso sólo en teoría. Los problemas, ya has visto, se plantean con ecuaciones que a veces funcionan, a veces no. Se inventa las fórmulas “a ver si cuela”. Falla en los convenios de signos. Sabe comenzar problemas aplicando leyes de conservación, pero luego remata fatal. Del movimiento amortiguado parece saberse algunas fórmulas y poco más. Espero no verlo más. Por favor, el próximo curso matricúlate en el turno de tarde.
Poniéndome un poco más serio, esto me preocupa. Muchos alumnos van a coger mis exámenes de cursos pasados, los van a pasar por una IAG para resolverlos, y si les hacen caso a los resultados los exámenes se me van a convertir en una escabechina sin parangón. Nunca más cierto el consejo que les doy justo antes del examen: puestos a suspender, hacedlo por méritos propios; vamos, que no vale la pena intentar copiarse de un compañero que puede que sepa menos que ellos.
Al menos tengo un remedio para evitar la escabechina: proporcionarles los exámenes de años pasados resueltos por mí. Lo hice este curso (aquí está el resultado) y creo que será una buena solución. Una de las primeras cosas que les diré al comienzo del próximo curso es que ChatGPT y su familia fallan más que una escopetilla de feria. No les diré que no la usen, eso es decisión suya, pero sí les advertiré de los peligros derivados de un uso demasiado confiado.
Y no sólo por los exámenes. Durante el último período de revisión, una alumna me comentó que usaba ChatGPT rutinariamente para estudiar, como una especie de Wikipedia avanzada. Afortunadamente se dio cuenta ella sola que la nueva herramienta fallaba más que una escopetilla de feria y que tenía que tomar con pinzas todo lo que le decía. Chica lista. Al final aprobó.