Modelos de lenguaje grande (LLM) como ChatGPT y Google Bard pueden proporcionar alguno respuestas decentes a ciertos tipos de preguntas, pero estas computadoras son irónicamente muy malas para calcular cosas. Google tiene una nueva solución para intentar que los modelos de lenguaje realicen correctamente tareas sencillas como las matemáticas: tener la IA escribir un programa. Google dice que ahora, cuando le pide a Bard una tarea “computacional” como matemática o manipulación de cadenas, en lugar de mostrarle el resultado del modelo de lenguaje, ese modelo de lenguaje escribirá un programa, ejecutará ese programa y le mostrará el resultado de ese programa al usuario como respuesta.
La publicación de blog de Google proporciona la entrada de ejemplo “Voltea la palabra ‘piruleta’ para mí”. ChatGPT falla en esta pregunta y da la respuesta incorrecta “pillopoL”, porque los modelos de lenguaje ven el mundo en trozos de palabras o “tokens”, y simplemente no son buenos en eso. Aquí está la salida de muestra de Bard:
Obtiene la salida correcta como “popilloL”, pero lo interesante es que también incluye código python escribió para responder a la pregunta. Eso es genial para las personas con mentalidad de programación para ver debajo del capó, pero wow, esa es probablemente la salida más aterradora de todas para la gente promedio. Tampoco es especialmente relevante. Imagínese si Gmail le mostrara un bloque de código cuando solo le pidiera buscar correos electrónicos. Es extraño. Solo haz el trabajo que te piden, Bard.
Google compara un modelo de IA que escribe un programa con humanos que hacen divisiones largas, ya que es una forma diferente de pensar:
Este enfoque se inspira en una dicotomía bien estudiada de la inteligencia humana, especialmente abordada en el libro de Daniel Kahneman. Pensando, rápido y lento— la separación del pensamiento del “Sistema 1” y el “Sistema 2”.
- El pensamiento del Sistema 1 es rápido, intuitivo y sin esfuerzo. Cuando un músico de jazz improvisa sobre la marcha o un mecanógrafo piensa en una palabra y la ve aparecer en la pantalla, están utilizando el pensamiento del Sistema 1.
- El pensamiento del sistema 2, por el contrario, es lento, deliberado y laborioso. Cuando estás haciendo divisiones largas o aprendiendo a tocar un instrumento, estás usando el Sistema 2.
En esta analogía, se puede pensar que los LLM operan únicamente bajo el Sistema 1: producir texto rápidamente pero sin pensar en profundidad. Esto conduce a algunas características sorprendentes, pero puede fallar de manera sorprendente. (Imagínese tratar de resolver un problema matemático usando el Sistema 1 solo: no puede detenerse y hacer la aritmética, solo tiene que escupir la primera respuesta que le venga a la mente). La computación tradicional está estrechamente alineada con el pensamiento del Sistema 2: es formulado e inflexible, pero la secuencia correcta de pasos puede producir resultados impresionantes, como soluciones a divisiones largas.
Google dice que este método de “escribir código sobre la marcha” también se utilizará para preguntas como: “¿Cuáles son los factores primos de 15683615?” y “Calcular la tasa de crecimiento de mis ahorros”. La compañía dice: “Hasta ahora, hemos visto que este método mejora la precisión de las respuestas de Bard a problemas matemáticos y de palabras basados en computación en nuestros conjuntos de datos de desafío interno en aproximadamente un 30 %”. Como de costumbre, Google advierte a Bard que “podría no hacerlo bien” debido a una mala interpretación de su pregunta o simplemente, como todos nosotros, al escribir un código que no funciona la primera vez.
Bard está codificando respuestas en tiempo real en este momento, si desea probarlo en bard.google.com.
“Introvertido. Solucionador de problemas. Aficionado total a la cultura pop. Estudiante independiente. Creador”.