Créditos de la imagen: Andriy Onufryenko / Imágenes falsas

OpenAI ha creado una versión de GPT-4, su último modelo de generación de texto, que puede «recordar» aproximadamente 50 páginas de contenido gracias a una ventana de contexto muy ampliada.

Esto puede no parecer significativo. Pero eso es cinco veces más información que la que GPT-4 vainilla puede contener en su «memoria» y ocho veces más que GPT-3.

“El modelo es capaz de usar documentos largos de manera flexible”, dijo Greg Brockman, cofundador y presidente de OpenAI, durante una demostración en vivo esta tarde. “Queremos ver qué tipo de aplicaciones [this enables].”

En lo que respecta a la IA de generación de texto, la ventana emergente se refiere al texto que el modelo considera antes de generar texto adicional. Si bien los modelos como GPT-4 «aprenden» a escribir entrenándose con miles de millones de ejemplos de texto, solo pueden considerar una pequeña fracción de ese texto a la vez, en gran parte determinada por el tamaño de su ventana de contexto.

Los modelos con ventanas emergentes pequeñas tienden a «olvidar» el contenido de incluso conversaciones muy recientes, lo que hace que se desvíen del tema. Después de unas pocas miles de palabras, también olvidan sus instrucciones iniciales, extrapolando su comportamiento desde la última información dentro de su ventana de contexto en lugar de la solicitud original.

Allen Pike, ex ingeniero de software de Apple, explicar de esta forma:

“[The model] olvidará todo lo que trates de enseñarle. Se olvidará de que vives en Canadá. Se olvidará de que tienes hijos. Se olvidará de que odias programar las cosas los miércoles y, por favor, deja de sugerir los miércoles para las cosas, maldita sea. Si ninguno de ustedes ha mencionado su nombre por un tiempo, él también lo olvidará. hablar con un [GPT-powered] personaje por un tiempo, y puedes comenzar a sentir que te estás vinculando con él, llegando a un lugar realmente genial. A veces se vuelve un poco confuso, pero también le sucede a la gente. Pero eventualmente el hecho de no tener memoria a mediano plazo se vuelve claro y la ilusión se hace añicos”.

Todavía no hemos logrado tener en nuestras manos la versión GPT-4 con la ventana de contexto ampliada, gpt-4-32k. (OpenAI dice que está procesando solicitudes para los modelos GPT-4 de alto y bajo contexto a «diferentes velocidades según la capacidad»). Pero no es difícil imaginar cómo las conversaciones con él podrían ser mucho más atractivas que las del primero. – modelo de generación

Con una «memoria» más grande, el GPT-4 debería poder hablar de manera relativamente coherente durante horas, incluso varios días, en lugar de minutos. Y quizás lo más importante, debería ser menos probable que se descarrile. Como señala Pike, una de las razones por las que se puede engañar a los chatbots como Bing Chat para que se comporten mal es porque sus instrucciones iniciales (ser un chatbot útil, responder con respeto, etc.) se eliminan rápidamente de sus ventanas de contexto mediante indicaciones y respuestas adicionales.

Puede ser un poco más sutil que eso. Pero la ventana de contexto juega un papel importante en la base de los modelos. sin duda. Con el tiempo, veremos qué tipo de diferencia tangible hace esto.