Cuando Microsoft agregó un chatbot a su motor de búsqueda Bing este mes, la gente se dio cuenta de que estaba ofreciendo todo tipo de información falsa sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish.

Luego, cuando los periodistas y otros probadores tempranos tuvieron largas conversaciones con el bot de IA de Microsoft, comenzó a comportarse de manera grosera e irritantemente espeluznante.

Desde que el comportamiento del bot de Bing se convirtió en una sensación mundial, la gente se ha esforzado por comprender la extrañeza de esta nueva creación. En su mayor parte, los científicos dicen que los humanos merecen gran parte de la culpa.

Pero todavía hay un poco de misterio sobre lo que puede hacer el nuevo chatbot y por qué lo haría. Su complejidad hace que sea difícil de diseccionar e incluso más difícil de predecir, y los investigadores lo están mirando a través de una lente filosófica, así como del código duro de la informática.

Como cualquier otro alumno, un sistema de IA puede aprender mala información de malas fuentes. ¿Y este extraño comportamiento? Podría ser el reflejo distorsionado de un chatbot de las palabras y las intenciones de las personas que lo usan, dijo Terry Sejnowski, neurocientífico, psicólogo e informático que ayudó a sentar las bases intelectuales y técnicas de la inteligencia artificial moderna.

“Eso sucede cuando profundizas más y más en estos sistemas”, dijo el Dr. Sejnowski, profesor del Instituto Salk de Estudios Biológicos y de la Universidad de California en San Diego, quien publicó un trabajo de investigación sobre este fenómeno este mes en la revista científica Neural Computation. “Lo que sea que estés buscando, lo que quieras, te lo proporcionarán”.

Google también apareció un nuevo chatbot, Bard, este mes, pero los científicos y los periodistas rápidamente se dieron cuenta de que estaba escribiendo tonterías sobre el telescopio espacial James Webb. OpenAI, una empresa nueva de San Francisco, lanzó el auge de los chatbots en noviembre cuando presentó ChatGPT, que tampoco siempre dice la verdad.

Los nuevos chatbots están impulsados ​​por una tecnología que los científicos llaman modelo de gran lenguaje o LLM. Estos sistemas aprenden analizando cantidades masivas de texto digital extraído de Internet, que incluye volúmenes de material falso, sesgado y tóxico. El texto del que aprenden los chatbots también está un poco desactualizado porque deben pasar meses analizándolo antes de que el público pueda usarlo.

Al filtrar este mar de información buena y mala de Internet, un LLM aprende a hacer una cosa específica: adivinar la siguiente palabra en una cadena de palabras.

Funciona como una versión gigante de la tecnología de autocompletar que sugiere la siguiente palabra a medida que escribe un correo electrónico o un mensaje instantáneo en su teléfono inteligente. Dada la secuencia «Tom Cruise es un ____», puedes adivinar «actor».

Cuando hablas con un chatbot, el bot no solo se basa en todo lo que aprendió en Internet. Está construyendo sobre todo lo que le has dicho y todo lo que ha respondido. No es solo adivinar la siguiente palabra en tu oración. Es adivinar la siguiente palabra en el largo bloque de texto que incluye tus palabras y las de ella.

Cuanto más larga sea la conversación, más influencia tiene un usuario sin saberlo sobre lo que dice el chatbot. Si quieres que se enoje, se enoja, dijo el Dr. Sejnowski. Si lo persuades para que se asuste, él se asusta.

Las reacciones de alarma ante el extraño comportamiento del chatbot de Microsoft han ofuscado un punto importante: el chatbot no tiene personalidad. Ofrece resultados instantáneos generados por un algoritmo informático increíblemente complejo.

Microsoft pareció frenar el comportamiento más extraño cuando puso un límite a la duración de las conversaciones con el chatbot de Bing. Fue como aprender de un conductor de pruebas de automóviles que ir demasiado rápido durante demasiado tiempo puede quemar el motor. El socio de Microsoft, OpenAI, y Google también están explorando formas de controlar el comportamiento de sus bots.

Pero hay una advertencia para esa garantía: debido a que los chatbots están aprendiendo de tanto material y juntándolo de maneras tan complejas, los investigadores no están seguros de cómo los chatbots están produciendo sus resultados finales. Los investigadores observan qué hacen los bots y aprenden a poner límites a ese comportamiento, a menudo después de que sucede.

Microsoft y OpenAI decidieron que la única forma de averiguar qué harán los chatbots en el mundo real es dejarlos sueltos y atraparlos cuando se desvíen. Creen que su gran experimento público vale la pena el riesgo.

Dr. Sejnowski comparó el comportamiento del chatbot de Microsoft con el Espejo de Oesed, un artefacto místico en las novelas de Harry Potter de JK Rowling y en muchas películas basadas en su inventivo mundo de jóvenes magos.

«Eised» es «deseo» escrito al revés. Cuando la gente descubre el espejo, parece proporcionar verdad y comprensión. Pero eso no sucede. Muestra los deseos más profundos de cualquiera que lo mire. Y algunas personas se vuelven locas si lo miran demasiado tiempo.

“Como los humanos y los LLM se reflejan entre sí, con el tiempo tenderán hacia un estado conceptual común”, dijo el Dr. Sejnowski.

No fue una sorpresa, dijo, que los periodistas comenzaran a ver un comportamiento espeluznante en el chatbot de Bing. Consciente o inconscientemente, estaban empujando al sistema en una dirección incómoda. A medida que los chatbots absorben nuestras palabras y nos las reflejan, pueden reforzar y ampliar nuestras creencias y persuadirnos para que creamos lo que nos dicen.

Dr. Sejnowski estaba entre un pequeño grupo de investigadores a fines de la década de 1970 y principios de la de 1980 que comenzaron a explorar seriamente un tipo de inteligencia artificial llamada red neuronal que alimenta a los chatbots de hoy.

Una red neuronal es un sistema matemático que aprende habilidades mediante el análisis de datos digitales. Esta es la misma tecnología que permite que Siri y Alexa reconozcan lo que dices.

Alrededor de 2018, los investigadores de empresas como Google y OpenAI comenzaron a construir redes neuronales que aprendieron de grandes cantidades de texto digital, incluidos libros, artículos de Wikipedia, registros de chat y otras cosas publicadas en Internet. Al identificar miles de millones de patrones a lo largo de este texto, estos LLM aprendieron a generar texto por sí mismos, incluidos tweets, publicaciones de blog, discursos y programas de computadora. Incluso podrían mantener una conversación.

Estos sistemas son un reflejo de la humanidad. Aprenden sus habilidades analizando textos que los humanos han publicado en Internet.

Pero esa no es la única razón por la que los chatbots generan un lenguaje problemático, dijo Melanie Mitchell, investigadora de inteligencia artificial en el Instituto Santa Fe, un laboratorio independiente en Nuevo México.

Al generar texto, estos sistemas no repiten palabra por palabra lo que hay en internet. Producen nuevos textos por su cuenta mediante la combinación de miles de millones de patrones.

Incluso si los investigadores entrenaran estos sistemas únicamente sobre la base de literatura científica revisada por pares, aún podrían producir afirmaciones científicamente ridículas. Incluso si solo aprendieron del texto que era cierto, todavía podrían producir falsedades. Incluso si solo aprendieron de textos saludables, aún podrían generar algo aterrador.

«No hay nada que les impida hacer eso», dijo el Dr. Mitchell. “Simplemente están tratando de producir algo que suene como el lenguaje humano”.

Los expertos en inteligencia artificial saben desde hace tiempo que esta tecnología exhibe todo tipo de comportamientos inesperados. Pero no siempre están de acuerdo sobre cómo se debe interpretar este comportamiento o qué tan rápido mejorarán los chatbots.

Debido a que estos sistemas aprenden de muchos más datos de los que los humanos podríamos imaginar, incluso los expertos en inteligencia artificial no pueden entender por qué generan un determinado texto en un momento dado.

el medico Sejnowski dijo que cree que, a largo plazo, los nuevos chatbots tienen el poder de hacer que las personas sean más eficientes y brindarles formas de hacer su trabajo mejor y más rápido. Pero eso viene con una advertencia tanto para las empresas que construyen estos chatbots como para las personas que los usan: ellos también pueden desviarnos de la verdad y llevarnos a lugares oscuros.

«Esto es terra incógnita», dijo el Dr. Sejnowski. «Los humanos nunca han experimentado esto antes».