¿Puede ChatGPT aprobar el Examen de Derecho?

ChatGPT y el Examen de Abogacía

El examen de la barra es una prueba rigurosa que evalúa conocimientos y capacidad de razonamiento a través de ensayos, pruebas de rendimiento y preguntas de opción múltiple. Es una prueba estandarizada utilizada por muchas jurisdicciones de los Estados Unidos como parte de su proceso de admisión a la barra. Consiste en tres partes que evalúan el conocimiento de los candidatos sobre principios del common law, su capacidad para aplicar principios legales a patrones de hechos específicos y su habilidad para llevar a cabo tareas legales.

Este examen está diseñado para permitir que los abogados obtengan licencia en varios estados sin tener que volver a hacer el examen de la barra para cada estado. La puntuación requerida se establece por cada jurisdicción, y las puntuaciones del examen pueden transferirse a jurisdicciones de otros estados, sujeto a las reglas y requisitos de cada jurisdicción.

GPT-3.5 y GPT-4, los modelos de lenguaje grandes de OpenAI en los que se basa ChatGPT, tienen la capacidad de realizar tareas difíciles que requieren un amplio conocimiento legal, comprensión de lectura y habilidades de escritura, hasta el punto en que pueden alcanzar el nivel de los abogados humanos en casi todas las jurisdicciones de Estados Unidos. La Conferencia Nacional de Examinadores de Abogados, que creó la sección de preguntas de opción múltiple, ha señalado que los abogados poseen habilidades únicas adquiridas a través de la educación y la práctica, que la inteligencia artificial actualmente no puede igualar.

¿Cómo le fue a ChatGPT en el Examen de la Barra?

Earlier this year research conducted by professors from Illinois Tech and Michigan State College of Law, ChatGPT 3.5 logró aprobar en dos categorías del examen multijurisdiccional (MBE) y tuvo un desempeño similar a los examinados humanos en otra categoría, demostrando su comprensión general del campo legal. En otra investigación realizada por los propios investigadores de OpenAI. ChatGPT tuvo un buen desempeño en el examen de abogacía y obtuvo un puntaje en el percentil 90 en esa investigación, respondiendo correctamente casi el 76% de las preguntas de opción múltiple, lo que representa un incremento del 50% de ChatGPT y superó al promedio del examinado humano en más del 7%.

ChatGPT fue capaz de generar respuestas de ensayo y pruebas de rendimiento que eran en su mayoría pertinentes y lógicamente conectadas. El umbral para aprobar el examen de abogacía varía de estado a estado, y en Nueva York se requiere una puntuación de 266, alrededor del percentil 50, para aprobar. Los resultados de ChatGPT sugieren que las capacidades de los grandes modelos de lenguaje se extienden a tareas complejas que requieren un conocimiento legal significativo, comprensión y habilidad para escribir. Estos modelos cumplen el punto de referencia que se aplica a los abogados humanos en casi todas las jurisdicciones de los Estados Unidos.

¿Aprobó ChatGPT un examen de abogacía?

ChatGPT aprobó el Examen de la Barra Uniforme.

¿Cuál es la puntuación del examen barra del 1% superior?

300 es aproximadamente el percentil 90 superior, mientras que una puntuación de 330 está cerca del 1% superior.