¿Qué es una ‘deriva de IA’ y por qué está haciendo que ChatGPT sea más tonto?
¿Qué es una 'deriva de IA' y por qué afecta a ChatGPT?
Ya sea que lo hayas experimentado tú mismo utilizando ChatGPT o lo hayas leído, los rumores son ciertos, ChatGPT se está volviendo progresivamente más tonto.
Este fenómeno es especialmente desconcertante porque los modelos de IA generativa utilizan la entrada del usuario para entrenarse continuamente, lo que debería hacerlos más inteligentes a medida que acumulan más entradas de usuarios con el tiempo.
También: Cómo utilizar ChatGPT para crear una aplicación
La respuesta puede estar en un concepto llamado “deriva”.
Una “deriva” se refiere a cuando los grandes modelos de lenguaje (LLMs) se comportan de manera inesperada o impredecible, alejándose de los parámetros originales. Esto puede suceder porque los intentos de mejorar partes de modelos de IA complicados hacen que otras partes funcionen peor.
- Este accesorio Vision Pro convertirá cualquier superficie plana en ...
- ¿Qué es OAO y qué hace?
- El equipo de AI Red de Microsoft ya ha demostrado su valía
Investigadores de la Universidad de California en Berkeley y la Universidad de Stanford llevaron a cabo un estudio para evaluar las derivas y examinar cómo los modelos de lenguaje grandes (LLMs) populares de ChatGPT, GPT 3.5 (el LLM detrás de ChatGPT) y GPT-4 (el LLM detrás de Bing Chat y ChatGPT Plus) cambiaron con el tiempo.
También: Los mejores chatbots de IA
El estudio comparó la capacidad de ambos LLMs para resolver problemas matemáticos, responder preguntas sensibles, responder encuestas de opinión, responder preguntas intensivas en conocimiento de múltiples pasos, generar código, realizar exámenes de licencia médica de Estados Unidos y completar tareas de razonamiento visual en marzo y junio.
Como se puede observar en los resultados del estudio anterior, la versión de marzo de GPT-4 superó a la versión de junio en muchas ocasiones, siendo el ejemplo más notable las indicaciones básicas de matemáticas donde la versión de marzo de GPT-4 superó a la versión de junio en ambos ejemplos (a) y (b).
GPT-4 también empeoró en la generación de código, la respuesta a preguntas de exámenes médicos y la respuesta a encuestas de opinión. Todos estos casos se pueden atribuir al fenómeno de la deriva.
En relación a las derivas, uno de los investigadores, James Zou, le dijo al Wall Street Journal: “Teníamos la sospecha de que podría suceder aquí, pero nos sorprendió mucho lo rápido que está ocurriendo la deriva”.
También: GPT-3.5 vs GPT-4: ¿Vale la pena la suscripción a ChatGPT Plus?
A pesar de la disminución de la inteligencia, también hubo algunas mejoras tanto en GPT-4 como en GPT-3.5.
Como resultado, los investigadores animan a los usuarios a seguir utilizando los LLMs, pero a tener precaución al usarlos y evaluarlos constantemente.
