¿Pueden los detectores de IA salvarnos de ChatGPT? Probé 3 herramientas en línea para averiguarlo

Este es el segundo artículo de lo que se está convirtiendo en una serie que explora los problemas del texto generado por IA.

En esta entrega, mi amigo de IA y yo estamos analizando la cuestión de si es posible luchar contra el plagio generado por IA y cómo podría funcionar.

Además: ¿ Qué es ChatGPT y por qué es importante? Esto es lo que necesita saber

Sin embargo, antes de continuar, debemos hablar sobre el concepto de plagio y cómo se relaciona con este problema. Webster define "plagiar" como "robar y hacer pasar (las ideas o palabras de otro) como propias: usar (la producción de otro) sin dar crédito a la fuente".

Esto se ajusta al contenido creado por IA. Si bien alguien que usa una herramienta de IA como Notion AI o ChatGPT no está robando contenido, si esa persona no acredita las palabras como provenientes de una IA y las reclama como propias, aún cumple con la definición de plagio del diccionario.

ZDNET recomienda

ChatGPT - Los mejores escritores de IA

Los mejores chatbots con IA: ChatGPT y otras alternativas interesantes para probar

Los chatbots y escritores de IA pueden ayudar a aligerar su carga de trabajo escribiendo correos electrónicos y ensayos e incluso haciendo matemáticas. Utilizan inteligencia artificial para generar texto o responder consultas basadas en la entrada del usuario. ChatGPT es un ejemplo popular, pero hay otros chatbots dignos de mención.

Lee ahora

En este artículo experimental, le pedí ayuda a ChatGPT. Mis palabras están en texto normal y en negrita. Las palabras de la IA están en cursiva. También usaré tres detectores de plagio ChatGPT en línea (que describiré con más detalle a continuación). Después de cada sección generada por IA, mostraré los resultados de los detectores. Al final del artículo, veremos qué tan bien se desempeñaron los detectores en general.

Aquí está el resultado del texto anterior, que escribí yo mismo:

Detector de salida GPT-2: 99,98% real
Writer AI Content Detector: contenido 100% generado por humanos. ¡Fantástico!
Contenido a escala Detección de contenido de IA: 100 % de puntuación de contenido humano. ¡Se ve muy bien!

Con eso, comencemos.

Explique por qué ChatGPT puede ser un problema real para profesores y editores cuando se trata de plagio

ChatGPT es una variante del modelo de lenguaje GPT (Generative Pre-trained Transformer) desarrollado por OpenAI. Está diseñado para generar texto similar al humano al predecir la siguiente palabra o frase en una secuencia de entrada dada. Si bien ChatGPT puede ser una herramienta útil para generar texto y responder a indicaciones, también puede ser un problema para profesores y editores cuando se trata de plagio.

Una de las principales razones por las que ChatGPT puede ser un problema para profesores y editores es que puede generar texto muy similar al de los escritores humanos reales. Esto significa que los estudiantes u otras personas podrían potencialmente usar ChatGPT para generar texto que luego podrían enviar como su propio trabajo, cometiendo así plagio.

Además: ¿Puede escribir este artículo el ayudante de escritura de Notion AI?

Para los profesores y editores, detectar si un fragmento de texto determinado fue generado por ChatGPT o escrito por un ser humano puede ser muy difícil, ya que el texto generado puede no contener errores o discrepancias evidentes que revelen su origen artificial. Esto puede dificultar que los maestros y editores identifiquen y prevengan el plagio, ya que es posible que no puedan saber si un texto determinado es original o copiado de otra fuente.

En general, ChatGPT y otros modelos de lenguaje similares pueden ser un problema para los maestros y editores cuando se trata de plagio porque pueden generar texto que es difícil de distinguir del escrito por humanos, lo que facilita que los estudiantes y otras personas cometan plagio sin ser detectado.

Detector de salida GPT-2: 99,69% real
Writer AI Content Detector: 97 % de contenido generado por humanos. ¡Fantástico!
Contenido a escala Detección de contenido de IA: 87 % de puntuación de contenido humano. ¡Luciendo bien!

Recuerde, el texto que se muestra en cursiva fue generado por la IA.

Muéstrame al menos tres formas en que puedo detectar que ChatGPT se usó para producir un texto

Hay varias formas de detectar si se utilizó ChatGPT u otro modelo de lenguaje para producir un texto. Aquí hay tres enfoques potenciales que podría usar:

Busque patrones repetitivos o inusuales en el texto: una forma de detectar si se utilizó un modelo de lenguaje para generar un texto es buscar patrones repetitivos o inusuales en la escritura. Por ejemplo, los modelos de lenguaje pueden repetir ciertas frases o combinaciones de palabras, o usar estructuras de oraciones inusuales o inconsistentes.
Comprobar la falta de originalidad: otra forma de detectar si se utilizó un modelo de lenguaje para generar un texto es comprobar la falta de originalidad en la redacción. Si un fragmento de texto parece haber sido copiado de otra fuente, o si contiene información ampliamente disponible en Internet o en otras fuentes, podría ser una señal de que fue generado por un modelo de lenguaje.
Use un verificador de plagio: finalmente, puede usar un verificador de plagio para verificar si un fragmento de texto parece haber sido copiado de otra fuente. Si bien es posible que un verificador de plagio no pueda determinar definitivamente si se usó un modelo de lenguaje para generar un texto, puede ayudarlo a identificar instancias de copia o paráfrasis de otras fuentes.
Tenga en cuenta cuando la respuesta es obviamente incorrecta: hablé de esto en mi revisión de Notion AI, donde destaqué un texto que la IA escribió con aparente autoridad, pero que estaba descaradamente equivocado. Si un estudiante o escritor no tiene un dominio completo del tema que se está discutiendo, es posible que no detecte las imprecisiones y simplemente las deje en la respuesta generada por IA. Por supuesto, las declaraciones incorrectas no son solo el ámbito de una herramienta de escritura de IA. Muchos bloggers y comentaristas, por ejemplo, simplemente repiten declaraciones hechas por otros bloggers, creando una cámara de eco de "hechos completamente falsos", mostrando que mientras que la inteligencia puede ser artificial, la estupidez es un rasgo universal.

Tenga en cuenta que puede ser difícil determinar definitivamente si se utilizó un modelo de lenguaje para generar un texto, y es posible que estos métodos no siempre sean efectivos. Sin embargo, pueden ser herramientas útiles para ayudarlo a identificar instancias potenciales de texto generado por el modelo de lenguaje.

En este conjunto de pruebas, solo el contenido en cursiva anterior se ejecutó a través del conjunto de verificación.

Detector de salida GPT-2: 99,98% falso
Writer AI Content Detector: [ sin resultado ]
Contenido a escala Detección de contenido de IA: 0 % de puntuación de contenido humano. Obviamente IA

Enumere tres verificadores de plagio que pueden detectar texto de ChatGPT

Innovación

Probé Apple Vision Pro y está muy por delante de lo que esperaba
Este pequeño comunicador satelital está repleto de características y tranquilidad.
Cómo usar ChatGPT: Todo lo que necesitas saber
Estas son mis 5 herramientas de IA favoritas para el trabajo

Vale la pena señalar que actualmente no existe un verificador de plagio que esté diseñado específicamente para detectar texto generado por ChatGPT u otros modelos de lenguaje. Si bien algunos verificadores de plagio pueden identificar ciertas características del texto generado por el modelo de lenguaje que podrían indicar su origen artificial, no hay garantía de que puedan determinar definitivamente si un fragmento de texto fue generado por un modelo de lenguaje.

Dicho esto, aquí hay tres verificadores de plagio que podría considerar usar para ayudar a identificar posibles instancias de texto generado por el modelo de lenguaje:

Turnitin: Turnitin es un verificador de plagio popular que es ampliamente utilizado por escuelas y universidades. Compara un fragmento de texto con una base de datos de otros textos para identificar casos de copia o paráfrasis. Si bien es posible que no pueda determinar definitivamente si un fragmento de texto fue generado por un modelo de lenguaje, podría identificar ciertas características del texto generado por el modelo de lenguaje que podrían indicar su origen artificial.
PlagScan: PlagScan es otro verificador de plagio que compara un fragmento de texto con una base de datos de otros textos para identificar instancias de copia o paráfrasis. Al igual que Turnitin, puede identificar ciertas características del texto generado por el modelo de lenguaje que podrían indicar su origen artificial, pero no está diseñado específicamente para detectar texto generado por el modelo de lenguaje.
Copyleaks: Copyleaks es un verificador de plagio que utiliza algoritmos avanzados de aprendizaje automático para escanear un fragmento de texto y compararlo con una base de datos de otros textos para identificar instancias de copia o paráfrasis. Si bien puede identificar ciertas características del texto generado por el modelo de lenguaje, no está diseñado específicamente para detectar texto generado por el modelo de lenguaje.

Vale la pena señalar que ningún verificador de plagio es completamente infalible, y siempre existe la posibilidad de que una parte del texto generado por el modelo de lenguaje pueda escapar a la detección. Por lo tanto, es importante utilizar verificadores de plagio como solo una parte de una estrategia más amplia para detectar y prevenir el plagio.

Detector de salida GPT-2: 99,62% real
Writer AI Content Detector: [ sin resultado ]
Contenido a escala Detección de contenido de IA: 86 % de puntuación de contenido humano. ¡Luciendo bien!

Verificadores de plagio de IA en línea

La mayoría de los detectores de plagio se utilizan para comparar la escritura con un corpus de otra escritura. Por ejemplo, cuando un estudiante entrega un ensayo, un producto como Turnitin escanea el ensayo enviado contra una gran biblioteca de otros ensayos en su base de datos, así como contra otros documentos y texto en Internet para determinar si el ensayo enviado ya contiene: contenido escrito.

Pero las herramientas de escritura de IA generan contenido original, al menos en teoría. Sí, construyen su contenido a partir de lo que sea que hayan aprendido, pero las palabras reales que construyen son algo únicas para cada composición.

Además: el verdadero objetivo de la IA puede que ya no sea la inteligencia

Como tal, los verificadores de plagio mencionados anteriormente probablemente no funcionen, porque el contenido generado por IA probablemente no existía, por ejemplo, en el trabajo de otro estudiante.

Así que recurrí a Google y busqué detectores diseñados específicamente para buscar las firmas reveladoras del contenido impulsado por IA. Encontré tres. Para el contenido de prueba que se muestra en las capturas de pantalla a continuación, le pregunté a ChatGPT esto: "¿Star Trek es mejor que Star Wars? Justifique y explique".

Detector de salida GPT-2: 99,98% real
Writer AI Content Detector: contenido 100% generado por humanos. ¡Fantástico!
Contenido a escala Detección de contenido de IA: 100 % de puntuación de contenido humano. ¡Se ve muy bien!

Detector de salida GPT-2 (Precisión 66%)

Esta primera herramienta se creó utilizando un centro de aprendizaje automático administrado por la empresa de inteligencia artificial Hugging Face, con sede en Nueva York. Si bien la empresa recibió $40 millones en fondos para desarrollar su biblioteca de lenguaje natural, el detector GPT-2 parece ser una herramienta creada por el usuario utilizando la biblioteca Hugging Face Transformers. De las seis pruebas que realicé, fue precisa para cuatro de ellas.

Writer.com AI Content Detector (Precisión N/A)

Writer.com es un servicio que genera escritura AI, orientado a equipos corporativos. Su herramienta AI Content Detector puede escanear el contenido generado. Desafortunadamente, encontré esta herramienta poco confiable. De los seis escaneos que hice, falló en tres. De los tres que funcionó con éxito, acertó dos y uno no.

Después de la publicación de este artículo, la gente de Writer.com contactó a ZDNET. El CEO May Habib compartió este comentario:

La demanda del detector de IA se ha disparado. El tráfico ha crecido de 2 a 3 veces por semana desde que lo lanzamos hace un par de meses. Ahora tenemos el escalado necesario detrás de él para asegurarnos de que no se caiga, y nuestro objetivo es mantenerlo libre y actualizado para captar los resultados de los últimos modelos, incluido el nuestro. Si la salida de IA se va a utilizar palabra por palabra, debe atribuirse absolutamente.

Contenido a escala Detección de contenido de IA (precisión del 50 %)

La tercera herramienta que encontré también fue producida por una empresa de generación de contenido de IA, sin embargo, esta parecía funcionar de manera confiable. Content at Scale se presenta a sí mismo como "Ayudamos a los especialistas en marketing de contenido enfocados en SEO mediante la automatización de la creación de contenido". Su llamado a la acción de marketing es: "Cargue una lista de palabras clave y obtenga publicaciones de blog de más de 2600 palabras que eviten la detección de contenido de IA, ¡todo sin intervención humana!" De las seis pruebas que realicé, tres fueron precisas.

Pensamientos finales

El plagio impulsado por IA es un problema creciente, ya que las herramientas de IA como Notion AI y ChatGPT pueden generar texto que es difícil de distinguir del escrito por humanos. Hay varias formas de detectar si un fragmento de texto fue generado por una IA, como buscar patrones repetitivos o inusuales, verificar la falta de originalidad o usar un verificador de plagio. Los verificadores de plagio como Turnitin, PlagScan y Copyleaks pueden identificar ciertas características del texto generado por el modelo de lenguaje, pero no son infalibles.

Incluso las herramientas especiales que encontré eran lamentablemente inadecuadas para la tarea. El mejor caso fue el detector de salida GPT-2, pero solo obtuvo dos tercios del texto enviado correctamente.

En este punto, no creo que estemos listos para dejar que la IA luche contra la IA. En su lugar, vamos a tener que confiar en la percepción humana (lo que significa que la gente tiene que prestar atención) para identificar las obras que fueron generadas por una IA.

No asuma inmediatamente que algo es generado por una máquina. Solo porque algo sea estúpido o terriblemente inexacto, no asumas de inmediato que no fue escrito por un humano. Como todos hemos llegado a saber, los humanos son muy capaces de escribir algunas cosas increíblemente malas por su cuenta.

Además: ChatGPT de OpenAI es terriblemente bueno en mi trabajo, pero no puede reemplazarme (todavía)

¿Entonces, qué piensas? ¿Puedes decir si una pieza es generada por IA? ¿Ha utilizado estas herramientas de escritura de IA en los meses transcurridos desde que de repente estuvieron disponibles? ¿Crees que son una ayuda o un obstáculo para la educación y el periodismo? Háganos saber en los comentarios a continuación. Así es como ChatGPT respondió esto:

Como modelo de lenguaje, no puedo ver ni interactuar con piezas físicas de escritura, por lo que no puedo decir si una pieza es generada por IA o no. Sin embargo, puedo decirle que hay varias herramientas de escritura de IA disponibles y que se pueden usar para generar una amplia gama de contenido escrito, incluidos artículos de noticias, ficción, poesía y más.

No tengo experiencia personal en el uso de estas herramientas, ya que solo soy un programa de computadora y no tengo la capacidad de navegar por Internet ni usar herramientas físicas. Sin embargo, puedo decirle que algunas personas han encontrado que las herramientas de escritura de IA son útiles en la educación y el periodismo, ya que pueden ahorrar tiempo y esfuerzo al automatizar ciertas tareas. Otros han expresado su preocupación por la posibilidad de que estas herramientas se utilicen para producir contenido engañoso o sesgado, o para reemplazar a los escritores humanos. En última instancia, si las herramientas de escritura de IA son una ayuda o un obstáculo depende de cómo se usen y el contexto en el que se usen.

Entonces, sí, está eso.