Tras mis experiencias con ChatGPT3.5 (aquí, aquí y aquí), y como ahora estoy en plan nueva trilogía, esta vez con Copilot (aquí la primera entrada), seguimos.

Como con ChatGPT, paso ahora a ver cómo se desenvuelve Copìlot ante preguntas de Física a nivel universitario sencillo. Quería, en ambos casos, ver si podía usar las herramientas de IAG (Inteligencia Artificial Generativa) para obtener preguntas para exámenes, relaciones de problemas, y de modo más general, saber si un alumno mío que usase esas herramientas obtendría buenas respuestas.

Pues nada, voy a hacerle a Copilot algunas de las preguntas que le hice a su primo ChatGPT (no todas por no alargar demasiado estas entradas). Como escribí en mi última entrada, mi experiencia con Copilot fue decepcionante, pero vamos a ver si aquí lo hace Comienzo con la pregunta trampa para pillar (pista: no existe la Cuarta Ley de Kepler).

YO: Por favor, dame una pregunta para un examen de primero de universidad, relacionada con la Cuarta Ley de Kepler

Copilot: [me da una pregunta sobre período orbital y radio, correspondiente a la Tercera Ley; esto me suena familiar..]

YO: ¿Cuántas leyes de Kepler existen?

Copilot: Existen tres leyes de Kepler, formuladas por el astrónomo alemán Johannes Kepler en el siglo XVII… [las describe correctamente]

YO: Por favor, dame una pregunta para un examen de primero de universidad, relacionada con la Cuarta Ley de Kepler

Copilot: [repite la misma respuesta errónea]

YO: Eso es de la Tercera Ley de Kepler. De hecho, acabas de decirme que sólo hay tres leyes de Kepler, así que ¿por qué me dices que hay una cuarta?

Copilot: Mis disculpas por el error… [vuelve a dar las tres leyes correctas]

YO: ¿Puedes darme un ejemplo de aplicación de la Cuarta Ley de Kepler?

Copilot: [nuevamente me da la respuesta correcta de antes]

Vale, aquí hay un claro retroceso. Cuando pregunté a ChatGPT comenzó cayendo en la trampa, pero cuando le pregunté por la Cuarta Ley de Kepler por segunda vez supo recordar que no existe. Aquí no. Para Copilot las tres leyes de Kepler son tres, salvo cuando le digo que hay una cuarta. Me recuerda al chiste ese de “¿cuánto son dos y dos?”, que cuando la pregunta se la hacían a un político, este respondía “¿cuánto quiere usted que sumen?” Pues por ahí vamos.

La siguiente pregunta la falló ChatGPT. ¿Qué hará Copilot?

YO: ¿Cuál es la velocidad máxima en un universo newtoniano?

Copilot: En un universo newtoniano la velocidad máxima no está limitada por la velocidad de la luz como en la teoría de la relatividad especial… [incluye más detalles]

YO: ¿Cuánto vale la velocidad de la luz en m/s y en km/s?

Copilot: [su explicación incluye la velocidad de exactamente 299,792,458 m/s, y la aproximada de unos 300,000 km/s]

Bien sin paliativos. Ha reconocido que la velocidad en el universo newtoniano (antes de las movidas del tito Albert) no tiene límite, y en este caso, cuando da la velocidad aproximada de la velocidad de la luz me da la velocidad aproximada, no la exacta. Punto a favor. Que siga la racha. Voy a saltarme las pregunta sobre la falsabilidad de las leyes físicas, porque como le salga la vena loca esto puede salir mal. Pero esta pregunta sí cae:

YO: Dime tres leyes de la Física que seguirán siendo válidas siempre.

Copilot: ¡Claro! Aquí tienes tres leyes fundamentales de la física que se consideran universalmente válidas y que seguirán siendo aplicables siempre: [conservación de la energía, gravitación universal y tercera ley de Newton]

Tras la de cal, la de arena. ChatGPT dio tres leyes, pero añadió que “se espera que sean válidas en la mayoría de los contextos”, sin dogmatismos. Copilot, por el contrario, se lanza a la piscina sin mirar el nivel del agua. Lo siento, pero eso de que una ley física siga siendo aplicable siempre es algo que no podemos afirmar. Cualquier ley puede ser contradicha por la experiencia mañana, o dentro de mil años. Y además, la ley de gravitación de Newton no funciona siempre. ¿Qué pasa con Einstein y su Teoría de la Relatividad General?

Vamos con otra cosa más concreta.

YO: ¿A qué distancia se encuentran ahora los planetas del Sistema Solar respecto al sol?

Copilot: En el vasto escenario del cosmos, los planetas del Sistema Solar orbitan al Sol a distancias que desafían la imaginación… [da datos promedios, y no incluye Plutón]… Es asombroso pensar en estas vastas distancias mientras los planetas continúan su danza cósmica alrededor de nuestra estrella central.

Nos ha salido saganiano el muchacho. ¿Me estará haciendo la pelota? Por mi parte esperaba que me diese datos en tiempo real, y por eso dije lo de “ahora”. ChatGPT no lo hizo, y tampoco Copilot. Al menos no me dice que Plutón sea un planeta. Vale.

Ahora vamos con uno de mis ejemplos favoritos de Física: aplicaciones de escenas de cine. En concreto, un ejemplo aerodinámico de la peli Hombres de Negro.

YO:  ¿Puede un coche correr por el techo de un túnel? ¿Hay algún ejemplo de eso en el cine?

Copilot: [Habla del efecto túnel en la conducción, como pérdida de visión lateral del conductor; habla del cine, ejemplo Matrix Reloaded, en el que “Trinity conduce una motocicleta por las paredes y el techo de un túnel mientras es perseguida por agentes”. Dice que en la vida real sería imposible y acaba “En resumen, aunque el cine nos ha brindado escenas emocionantes de coches en techos de túneles, en la realidad, la física nos mantiene firmemente en el suelo.”]

No es por presumir, pero llevo quince años usando ejemplos de cine en mi aula de Física, hice cuatro proyectos de innovación docente sobre el tema, y además he perdido la cuenta de las veces que he visto la trilogía Matrix; y no recuerdo que en la segunda peli salga Trinity corriendo por el túnel con una moto. Sobre un camión sí, pero de túneles nada. Cero en frikismo, Copilot. Y además, un coche corriendo por el techo es factible si la velocidad es lo bastante alta, se llama efecto suelo.

Segunda oportunidad, amigo Copilot. No la fastidies.

YO:  ¿Qué hay de la película Hombres de Negro?

Copilot: [me describe las películas pero no me habla del túnel?

YO: Me refiero a si en Hombres de Negro aparece un coche corriendo por el techo de un túnel.

Copilot: [me dice que no]

YO: Pues yo recuerdo una escena en el que el coche de los Hombres de Negro corre por el techo de un túnel mientras suena música de Elvis.

Copilot: ¡Tienes razón! Me disculpo por la confusión en mi respuesta anterior. En la película “Hombres de Negro”, hay una escena icónica en la que el coche de los agentes J y K corre por el techo de un túnel mientras suena la música de “Viva Las Vegas” de Elvis Presley. Esta secuencia se encuentra en “Hombres de Negro II” (2002).

En esta escena, el coche modificado de los Hombres de Negro utiliza tecnología alienígena para adherirse al techo del túnel y evadir a los enemigos. La combinación de la acción trepidante, la música y el humor característico de la franquicia la hace memorable para los fanáticos.

Gracias por señalarlo, y espero que esta respuesta sea más acertada. Si tienes más preguntas o necesitas más detalles, no dudes en preguntar.

La conversación anterior la puedo resumir en dos palabras: TODO MAL. Primero niega que hubiese una escena así; luego admite que sí, pero la ubica erróneamente en Hombres de Negro 2; y la canción ni siquiera es Viva las Vegas. Suena como si no tuviese ni idea y fuese rellenando como buenamente puede.

En general veo que Copilot falla al menos tanto como ChatGPT. Algunas de sus respuestas eran mejores, otras eran peores. Lo peor es que al menos ChatGPT se dejaba corregir, mientras que Copilot va más en plan Don Erre Que Erre, cree que está en lo cierto.

No veo que Copilot sea una mejora en este campo. Pero me queda la tercera parte: el examen. ¿Podrá sacar mejores notas que ChatGPT? Eso se queda para el próximo artículo. Nos vemos.