ChatGPT tomó un examen de MBA. Así es como lo hizo

Un profesor de Wharton, Universidad de Pensilvania, ha otorgado un pase teórico de grado B a ChatGPT después de calificar las respuestas que generó para un examen final en un curso típico de MBA.

Christian Terwiesch, profesor de gestión de operaciones en Wharton, dijo que ChatGPT hace un "trabajo increíble en cuestiones básicas de gestión de operaciones y análisis de procesos".

"No solo las respuestas son correctas, sino que las explicaciones son excelentes", escribe en un nuevo libro blanco.

También: Cómo comenzar a usar ChatGPT

Pero agregó que el chatbot comete "errores sorprendentes en cálculos relativamente simples al nivel de Matemáticas de sexto grado", y que actualmente no puede manejar preguntas de análisis de procesos más avanzadas. Por otro lado, la versión actual de ChatGPT puede modificar sus respuestas en respuesta a sugerencias humanas para llegar a la solución correcta.

"Teniendo en cuenta este rendimiento, Chat GPT3 habría recibido una calificación de B a B- en el examen", escribe Terwiesch.

Varias de las preguntas de Terwiesch tenían como objetivo probar si ChatGPT podía identificar un cuello de botella en una operación de procesamiento con múltiples máquinas que tienen diferentes capacidades de rendimiento.

ChatGPT, sin embargo, "cometió un error significativo de gran magnitud" al calcular con aritmética de nivel medio.

Curiosamente, ChatGPT inicialmente respondió incorrectamente una de las preguntas de Terwiesch sobre el análisis de colas. Lo solicitó con una pista para una mejor respuesta y ChatGPT mejoró su respuesta. Al día siguiente, el profesor le hizo la misma pregunta de cola inicial sin la pista, y ChatGPT respondió correctamente en su primer intento.

"Es capaz de aprender de los comentarios anteriores o simplemente tuve suerte", señala, y agrega que parecía haber cierta aleatoriedad en la calidad de sus respuestas.

Terwiesch también descubrió que ChatGPT podía formular preguntas ingeniosas y divertidas que podría usar en futuros exámenes. Sin embargo, el chatbot también introdujo fallas sutiles en algunas preguntas que las hicieron imposibles de responder.

Además: ChatGPT 'carecía de profundidad y perspicacia', dicen los editores de prestigiosas revistas científicas

Terwiesch advierte a los demás que tengan en cuenta las capacidades y limitaciones de ChatGPT. Él dice que "se enamoró" de ChatGPT después de leer su respuesta a su primera pregunta, pero advierte que "cometió errores importantes en algunas situaciones bastante simples".

"Todavía estamos lejos de una A+ para problemas complejos y todavía necesitamos un ser humano en el circuito", escribe.

"Desde mi punto de vista sobre la educación, un estudiante de primaria todavía necesita aprender que 7 x 7 = 49 y que la capital de Pensilvania es Harrisburg, aunque las calculadoras se han usado mucho durante más de 50 años y los estudiantes pueden usar Google Wikipedia para encontrar las respuestas. para la mayoría de las preguntas fácticas. Es la naturaleza de las habilidades fundamentales que se requieren para comprender temas más avanzados".

Terwiesch está de acuerdo en que los educadores deberían preocuparse de que los estudiantes de K-12 puedan usar ChatGPT para hacer trampa en tareas y exámenes. Por ejemplo, el Departamento de Educación de la ciudad de Nueva York prohibió recientemente el chatbot porque las pruebas confiables son importantes en la enseñanza, mientras que la certificación de habilidades no debería verse comprometida debido a la nueva tecnología. Un estudiante que usa ChatGPT es como poder llamar a un amigo con "competencia académica promedio" para completar el examen por él, señala.

Pero también argumenta que ChatGPT y tecnologías similares tienen la capacidad de desempeñar el papel de un "consultor inteligente", uno que produce respuestas elegantes pero a menudo incorrectas, que él cree que es el "campo de entrenamiento perfecto" para desarrollar habilidades entre los estudiantes de MBA que necesitan evaluar críticamente las alternativas sugeridas.