¿Cómo funciona ChatGPT?

ChatGPT es una de las nuevas herramientas impulsadas por IA más brillantes, pero los algoritmos que funcionan en segundo plano han estado impulsando una amplia gama de aplicaciones y servicios desde 2020. Entonces, para comprender cómo funciona ChatGPT, debemos comenzar hablando sobre el lenguaje subyacente. motor que lo impulsa.

El GPT en ChatGPT es principalmente GPT-3, o el Transformador preentrenado generativo 3, aunque GPT-4 ahora está disponible para los suscriptores de ChatGPT Plus, y probablemente se generalice pronto. Los modelos GPT fueron desarrollados por OpenAI (la compañía detrás de ChatGPT y el generador de imágenes DALL·E 2), pero potencian todo, desde las funciones de IA de Bing hasta herramientas de escritura como Jasper y Copy.ai. De hecho, la mayoría de los generadores de texto de IA disponibles en este momento usan GPT-3 y probablemente ofrecerán GPT-4 como siguiente paso.

ChatGPT puso a GPT-3 en el centro de atención porque hizo que el proceso de interacción con un generador de texto de IA fuera simple y, lo que es más importante, gratuito para todos. Además, es un chatbot, y a la gente le encanta un buen chatbot desde SmarterChild.

Si bien GPT-3 y GPT-4 son los modelos de lenguaje grande (LLM) más populares en este momento, en los próximos años, es probable que haya mucha más competencia. Google, por ejemplo, tiene Bard, su chatbot de IA, que funciona con su propio motor de lenguaje Pathways Language Model (PaLM 2). Pero por ahora, la oferta de OpenAI es el estándar industrial de facto. Es simplemente la herramienta más fácil de usar para las personas.

Entonces, la respuesta a "¿cómo funciona ChatGPT?" es básicamente: GPT-3 y GPT-4. Pero profundicemos un poco más.

¿Qué es Chat GPT?

ChatGPT es una aplicación creada por OpenAI. Usando los modelos de lenguaje GPT, puede responder sus preguntas, escribir copias, redactar correos electrónicos, mantener una conversación, explicar el código en diferentes lenguajes de programación, traducir el lenguaje natural al código y más, o al menos intentarlo, todo basado en el lenguaje natural. le pide que lo alimente. Es un chatbot, pero uno muy, muy bueno.

Si bien es genial jugar con él si, por ejemplo, desea escribir un soneto de Shakespeare sobre su mascota u obtener algunas ideas para las líneas de asunto de algunos correos electrónicos de marketing, también es bueno para OpenAI. Es una forma de obtener una gran cantidad de datos de usuarios reales y sirve como una demostración elegante del poder de GPT, que de otro modo podría sentirse un poco confuso a menos que esté profundamente en aprendizaje automático.

En este momento, ChatGPT ofrece dos modelos de GPT. El predeterminado, GPT-3.5, es menos poderoso pero está disponible para todos de forma gratuita. El GPT-4 más avanzado está limitado a los suscriptores de ChatGPT Plus, e incluso ellos solo reciben una cantidad limitada de preguntas todos los días.

Una de las grandes características de ChatGPT es que puede recordar la conversación que estás teniendo con él. Esto significa que puede obtener contexto de lo que le hayas preguntado anteriormente y luego usarlo para informar su conversación contigo. También puede solicitar reelaboraciones y correcciones, y se referirá a lo que haya estado discutiendo antes. Hace que interactuar con la IA se sienta como un verdadero ir y venir.

Si realmente quiere tener una idea de cómo funciona, vaya y dedique cinco minutos a jugar con ChatGPT ahora (¡es gratis!), y luego regrese para leer sobre cómo funciona.

¿Cómo funciona ChatGPT?

Este gigantesco conjunto de datos se usó para formar una red neuronal de aprendizaje profundo [ ... ] modelada a partir del cerebro humano, lo que permitió a ChatGPT aprender patrones y relaciones en los datos de texto [ ... ] prediciendo qué texto debería aparecer a continuación en una oración determinada .

ChatGPT funciona al intentar comprender su aviso y luego escupir cadenas de palabras que predice que responderán mejor a su pregunta, según los datos con los que se entrenó.

Hablemos de ese entrenamiento. Es un proceso en el que a la IA naciente se le dan algunas reglas básicas, y luego se la pone en situaciones o se le da una gran cantidad de datos para trabajar con el fin de desarrollar sus propios algoritmos.

GPT-3 se entrenó en aproximadamente 500 mil millones de "tokens", lo que permite que sus modelos de lenguaje asignen significado más fácilmente y predigan un texto de seguimiento plausible. Muchas palabras se asignan a tokens únicos, aunque las palabras más largas o más complejas a menudo se dividen en múltiples tokens. En promedio, los tokens tienen aproximadamente cuatro caracteres. OpenAI se ha mantenido en silencio sobre el funcionamiento interno de GPT-4, pero podemos asumir con seguridad que se entrenó con el mismo conjunto de datos, ya que es aún más poderoso.

Todos los tokens provinieron de un corpus masivo de datos escritos por humanos. Eso incluye libros, artículos y otros documentos sobre todos los diferentes temas, estilos y géneros, y una increíble cantidad de contenido extraído de la Internet abierta. Básicamente, se le permitió analizar la suma total del conocimiento humano.

Este enorme conjunto de datos se usó para formar una red neuronal de aprendizaje profundo, un algoritmo ponderado complejo, de muchas capas, modelado a partir del cerebro humano, que permitió a ChatGPT aprender patrones y relaciones en los datos de texto y aprovechar la capacidad de crear respuestas prediciendo qué texto debe venir a continuación en una oración determinada.

Aunque en realidad, eso subestima enormemente las cosas. ChatGPT no funciona a nivel de oración, sino que genera texto de las palabras, oraciones e incluso párrafos o estrofas que podrían seguir. No es el texto predictivo en tu teléfono adivinando sin rodeos la siguiente palabra; está intentando crear respuestas totalmente coherentes a cualquier indicación.

Para refinar aún más la capacidad de ChatGPT para responder a una variedad de indicaciones diferentes, se optimizó para el diálogo con una técnica llamada aprendizaje reforzado con retroalimentación humana (RLHF). Esencialmente, los humanos crearon un modelo de recompensa con datos de comparación (donde los entrenadores de IA clasificaron dos o más respuestas del modelo), para que la IA pudiera aprender cuál era la mejor respuesta.

De vuelta a la red neuronal que formó. Con base en todo ese entrenamiento, la red neuronal de GPT-3 tiene 175 mil millones de parámetros o variables que le permiten tomar una entrada (su solicitud) y luego, según los valores y las ponderaciones que otorga a los diferentes parámetros (y una pequeña cantidad de aleatoriedad). ), emite lo que crea que mejor se adapte a su solicitud. OpenAI no ha dicho cuántos parámetros tiene GPT-4, pero es una suposición segura que son más de 175 mil millones y menos de los 100 billones de parámetros que alguna vez se rumoreó. Independientemente del número exacto, más parámetros no significa automáticamente mejor. Parte del aumento de potencia de GPT-4 probablemente proviene de tener más parámetros que GPT-3, pero probablemente mucho se deba a las mejoras en la forma en que se entrenó.

Al final, la forma más sencilla de imaginarlo es como uno de esos juegos de "terminar la oración" que jugabas cuando eras niño.

Al final, la forma más sencilla de imaginarlo es como uno de esos juegos de "terminar la oración" que jugabas cuando eras niño. Por ejemplo, cuando le di a ChatGPT usando GPT-3 el mensaje "Zapier es...", respondió diciendo:

"Zapier es una herramienta de automatización basada en la web que permite a los usuarios conectar diferentes aplicaciones web para automatizar tareas repetitivas y mejorar los flujos de trabajo".

Ese es el tipo de oración que puedes encontrar en cientos de artículos que describen lo que hace Zapier, por lo que tiene sentido que sea el tipo de cosas que escupe aquí. Pero cuando mi editor le dio el mismo aviso, dijo:

"Zapier es una herramienta de automatización basada en la web que permite a los usuarios conectar diferentes aplicaciones web y automatizar los flujos de trabajo entre ellas".

Eso es bastante similar, pero no es exactamente la misma respuesta. Esa aleatoriedad (que puede controlar en algunas aplicaciones GPT-3 con una configuración llamada "temperatura") garantiza que ChatGPT no solo responda a cada respuesta con lo que equivale a una respuesta estándar. Está ejecutando cada aviso a través de toda la red neuronal cada vez, y tirando un par de dados aquí y allá para mantener las cosas frescas. No es probable que comience a afirmar que Zapier es un color de Marte, pero mezclará las siguientes palabras en función de sus probabilidades relativas.

(Por lo que vale, cuando se ejecuta en GPT-4, ChatGPT dijo: " Zapier es una herramienta de automatización basada en la web que permite a los usuarios integrar y automatizar tareas entre varias aplicaciones y servicios en línea". ¡ Muy parecido!)

Escupir palabras, no conocimiento

Los creadores de ChatGPT son los primeros en decir que puede producir información incorrecta (y posiblemente dañina), aunque están trabajando arduamente para solucionarlo.

Aquí hay un ejemplo manso. Cuando le pedí a ChatGPT que usara GPT-3 y GPT-4 que respondiera a "Harry Guinness es...", GPT-3 primero respondió preguntando qué Harry Guinness. Gran pregunta: ¡literalmente somos dos! Así que dije, "Harry Guinness el escritor" (ese soy yo). GPT-4 adivinó quién era yo de inmediato, aunque ambas respuestas fueron fascinantes:

GPT-3: Harry Guinness es un escritor y periodista independiente con sede en Irlanda. Ha escrito para una variedad de publicaciones, incluyendo The New York Times, The Guardian, The Huffington Post y Popular Mechanics. Cubre temas que van desde tecnología y fotografía hasta viajes y cultura.

GPT-4: Harry Guinness es un escritor, fotógrafo y experto en tecnología irlandés. Ha escrito para varias publicaciones, incluidas How-To Geek, Lifehacker y Tuts+. Su trabajo se centra principalmente en tecnología, tutoriales y consejos, así como en fotografía y edición de imágenes. Guinness se ha ganado la reputación de crear guías detalladas que ayudan a los lectores a comprender temas complejos o resolver problemas de manera directa.

La primera y la última línea de GPT-3 se extrajeron casi textualmente de mis diversos sitios web y biografías de autores en la web (aunque normalmente me menciono como escritor y fotógrafo independiente, no como periodista). Pero la lista de publicaciones está básicamente compuesta. He escrito para The New York Times , pero no para The Guardian , The Huffington Post o Popular Mechanics (escribo regularmente para Popular Science , por lo que podría ser de donde vino eso).

GPT-4 acierta con la parte del fotógrafo y en realidad enumera algunas publicaciones para las que he escrito, lo cual es impresionante, aunque no son de las que estaría más orgulloso. Es un gran ejemplo de cómo OpenAI ha podido aumentar la precisión de GPT-4 en relación con GPT-3, aunque es posible que no siempre ofrezca la respuesta más correcta.

Pero volvamos a GPT-3, ya que su error proporciona un ejemplo interesante de lo que sucede detrás de escena en ChatGPT. En realidad no sabe nada sobre mí. Ni siquiera es copiar/pegar de Internet y confiar en la fuente de la información. En cambio, simplemente predice una serie de palabras que vendrán a continuación en función de los miles de millones de puntos de datos que tiene.

Por ejemplo: The New York Times se agrupa mucho más a menudo con The Guardian y The Huffington Post que con los lugares para los que he escrito, como Wired , Outside , The Irish Times y, por supuesto, Zapier. Entonces, cuando tiene que resolver lo que debería seguir de The New York Times , no se basa en la información publicada sobre mí; saca esa lista de publicaciones grandes de todos los datos de entrenamiento que tiene. Es muy inteligente y parece plausible, pero no es cierto.

GPT-4 hace un trabajo mucho mejor y clava las publicaciones, pero el resto de lo que dice realmente se siente como oraciones de seguimiento plausibles. No creo que aprecie mucho mi reputación: solo dice el tipo de cosas que dice una biografía. Es mucho mejor para ocultar cómo funciona que GPT-3, aunque en realidad usa la misma técnica.

Aún así, es muy impresionante cuánto ha mejorado GPT. Por ahora, GPT-4 está bloqueado detrás de una suscripción premium, por lo que la mayoría del contenido de ChatGPT que verá se basará en GPT-3, pero eso puede cambiar en el próximo tiempo. Quién sabe lo que traerá GPT-5.

¿Qué es la API de ChatGPT?

OpenAI no tiene una actitud de solo nosotros con su tecnología. La empresa tiene una plataforma API que permite a los desarrolladores integrar el poder de ChatGPT en sus propias aplicaciones y servicios (por un precio, por supuesto).

Zapier usa la API de ChatGPT para potenciar su propia integración de ChatGPT, que le permite conectar ChatGPT a miles de otras aplicaciones y agregar IA a sus flujos de trabajo críticos para el negocio. Aquí hay algunos ejemplos para comenzar, pero puede activar ChatGPT básicamente desde cualquier aplicación.

También puede utilizar otros modelos de OpenAI, como DALL·E y Whisper, con la integración de OpenAI de Zapier. Automatice los flujos de trabajo que implican la generación de imágenes y la transcripción de audio, directamente desde las aplicaciones que ya está utilizando.

Lectura relacionada: Cómo puede (y cuándo no debe) usar ChatGPT para escribir una copia de marketing