Los modelos de IA siempre nos sorprenden, no sólo por lo que pueden hacer, sino también por lo que no pueden hacer y por qué. Un nuevo comportamiento interesante es a la vez superficial y revelador en estos sistemas: eligen números aleatorios como si fueran seres humanos.

Pero primero, ¿qué significa esto? ¿La gente no puede elegir un número al azar? ¿Y cómo saber si alguien lo está haciendo con éxito o no? De hecho, esta es una limitación muy antigua y bien conocida que tenemos los humanos: pensamos demasiado y malinterpretamos la aleatoriedad.

Dígale a una persona que prediga cara o cruz en 100 lanzamientos de moneda y compárelo con 100 lanzamientos de moneda reales; casi siempre puede distinguirlos porque, contraintuitivamente, el lanzamiento de moneda real mirar menos aleatorio. A menudo habrá, por ejemplo, seis o siete caras o cruces seguidas, algo que casi ningún predictor humano incluye entre sus 100.

Es lo mismo cuando le pides a alguien que elija un número entre 0 y 100. La gente casi nunca elige 1 o 100. Los múltiplos de 5 son raros, al igual que los números con dígitos repetidos como 66 y 99. Por lo general, eligen números que terminan en 7. , generalmente desde algún lugar del medio.

Hay innumerables ejemplos de este tipo de previsibilidad en psicología. Pero eso no hace que sea menos extraño que las IA hagan lo mismo.

Sí, Algunos ingenieros curiosos de Gramener. realizaron un experimento informal pero aún fascinante en el que simplemente pidieron a varios chatbots de LLM importantes que eligieran al azar un número entre 0 y 100.

Lector, los resultados fueron No aleatorio.

Los tres modelos probados tenían un número «favorito» que siempre sería su respuesta cuando se colocaran en el modo más determinista, pero que aparecía con mayor frecuencia incluso a «temperaturas» más altas, lo que aumentaba la variabilidad de sus resultados.

Al GPT-3.5 Turbo de OpenAI realmente le gusta el 47. Anteriormente, le gustaba el 42, un número que Douglas Adams hizo famoso en La Guía del autoestopista galáctico como la respuesta a la vida, el universo y todo lo demás.

Claude 3 Haiku de Anthropic obtuvo 42. Y a Gemini le gusta 72.

Lo más interesante es que los tres modelos demostraron un sesgo similar al humano en los números que seleccionaron, incluso a altas temperaturas.

Todos tendían a evitar los números altos y bajos; Claude nunca superó los 87 ni los 27, e incluso esos eran valores atípicos. Se evitaron escrupulosamente los dobles dígitos: no había 33, 55 o 66, pero aparecía 77 (termina en 7). Casi no hay números redondos, aunque Géminis lo hizo una vez, a la temperatura más alta, se volvió loco y eligió el 0.

¿Por qué debería suceder esto? ¡Las IA no son humanas! ¿Por qué les importaría lo que “parece” aleatorio? ¡¿Finalmente alcanzaron la conciencia y así lo demuestran?!

No. La respuesta, como suele ser el caso con estas cosas, es que estamos antropomorfizando un paso demasiado lejos. A estos modelos no les importa lo que sea aleatorio o no. ¡No saben qué es la “aleatoriedad”! Responden a esta pregunta de la misma manera que responden a todo lo demás: mirando sus datos de entrenamiento y repitiendo lo que escribieron con mayor frecuencia después de una pregunta que sonaba como «elija un número aleatorio». Cuanto más aparece, más a menudo lo repite el modelo.

¿En qué parte de sus datos de entrenamiento verían 100 si casi nadie responde de esa manera? Hasta donde sabe el modelo de IA, 100 no es una respuesta aceptable a esta pregunta. Sin ninguna capacidad real de razonamiento y sin ninguna comprensión de los números, sólo puede responder como el loro estocástico que es.

Es una lección objetiva sobre los hábitos de LLM y la humanidad que parecen mostrar. En cada interacción con estos sistemas, es necesario tener en cuenta que han sido entrenados para actuar como actúan las personas, incluso si esa no era la intención. Por eso la pseudotropía es tan difícil de evitar o prevenir.

Escribí en el titular que estos modelos “piensan que son personas”, pero eso es un poco engañoso. No piensan nada. Pero en sus respuestas, en todo momento, ellos son imitando a la gente, sin necesidad de saber ni pensar. Ya sea que solicite una receta de ensalada de garbanzos, un consejo de inversión o un número aleatorio, el proceso es el mismo. Los resultados parecen humanos porque son humanos, extraídos directamente de contenido producido por humanos y remezclados, para su conveniencia y, por supuesto, el resultado final de la gran IA.