• Google presentó Gemini, su rival del GPT-4 de OpenAI esta semana.
• Gemini supera a GPT-4 en matemáticas, codificación y conocimiento de la materia en su nivel más avanzado, afirma Google.
• Google también afirma que es el primer modelo que combina expertos a nivel humano en una prueba de 57 áreas temáticas.

Esa semana, Google reveló Géminis, que ya parece un rival terriblemente inteligente para el GPT-4 de OpenAI.

Gemini consta de tres modelos diferentes que varían en tamaño y capacidad. Su modelo más avanzado, Gemini Ultra, que aún no está disponible públicamente, pero Google dice que está diseñado para «tareas muy complejas», es más inteligente que GPT-4 en diversas áreas, desde conocimientos de materias como historia y derecho hasta generación de código en Python y tareas que requieren razonamiento de varios pasos, dijo Google en su anuncio.

Google dijo que Géminis superó a GPT-4 en la prueba Massive Multitask Language Understanding, o MMLU, que es uno de los métodos más populares para evaluar el conocimiento y las habilidades de resolución de problemas de los modelos de IA.

Podrías compararlo con «SAT para modelos de IA», Kevin Roose él dijo en el podcast de tecnología Hard Fork del New York Times. El MMLU, sin embargo, es un poco más avanzado que un típico examen de preparación universitaria. Cubre 57 materias, incluidas matemáticas, física, historia, derecho, medicina y ética, para evaluar el conocimiento mundial y las habilidades de resolución de problemas, según el anuncio de Google.

Gemini Ultra obtuvo una puntuación del 90% en MMLU, mientras que GPT-4 obtuvo una puntuación del 86,4%, según Google.

Pero la hazaña más impresionante de Gemini Ultra puede ser que también es el primer modelo que supera a los expertos humanos en la MMLU. Los expertos humanos obtuvieron una puntuación de alrededor del 89,8%, dijo Google en un informe técnico informe en Géminis.

«Creo que si retrocedieras dos o tres años y les dijeras a los investigadores de IA que Google tendrá un modelo que obtiene el 90 por ciento de la MMLU, eso es mejor que el tipo de punto de referencia para los expertos humanos, habrían dicho, bueno, eso es AGI. » dijo Roose. AGI o inteligencia general artificiales una forma hipotética de inteligencia artificial que puede procesar capacidades humanas complejas como el sentido común y la conciencia.

Según Google, GPT-4 superó a Gemini Ultra por varios puntos porcentuales en una evaluación de las habilidades de razonamiento de sentido común para las tareas cotidianas.

Pero una ventaja que Google dice que tiene Gemini sobre otros modelos es que es nativamente multimodal, lo que significa que fue diseñado desde cero para procesar múltiples tipos de datos, desde texto hasta audio, desde código hasta imágenes y video. Otros modelos multimodales se han creado “uniendo” modelos de solo texto, solo visión y solo audio de una “manera subóptima”, dijo Oriol Vinyals, vicepresidente de investigación de DeepMind de Google, en un video anunciando Gemini.

Como resultado, Google afirma que el diseño de Gemini le permite comprender mejor las entradas que los modelos multimodales existentes. Los investigadores detrás del blog SemiAnalysis también dicen Gemini probablemente «destruirá» GPT-4 por pura potencia informática.

Si bien Gemini Ultra ciertamente ha establecido grandes expectativas para su llegada, el jurado aún está deliberando sobre cómo le irá al trío de modelos Gemini frente a OpenAI, que ya tiene una ventaja en el conocimiento de los consumidores.

Temprano reacciones al Gemini Pro menos avanzado, a los que se puede acceder a través del chatbot Bard de Google, fueron positivos. Sin embargo, el modelo también tenía problemas de precisión y alucinaciones. Incluso le dijo a la gente que recurra a Google para obtener respuestas a preguntas controvertidas.

Google y OpenAI no respondieron a una solicitud de comentarios de Business Insider.