Estamos en medio de un cambio generacional, a medida que los teléfonos inteligentes que ya controlan nuestras vidas obtienen el mayor aumento de capacidad jamás visto. A medida que la IA se aplica a todo, en todas partes, resulta cada vez más claro que todavía no entendemos completamente los riesgos, y mucho menos las formas de mantenernos seguros. También está claro que no hay marcha atrás.

Y también lo es la gran cantidad de usuarios de Gmail esta semana, mientras Google continúa actualizando millones de cuentas de Workspace para brindar nuevas herramientas de inteligencia artificial. Aquellos que confían en la plataforma de correo electrónico más popular del mundo acaban de ver los aspectos positivos y negativos de todo este cambio casi exactamente al mismo tiempo.

ForbesEliminación de aplicaciones de Google Play Store: nueva advertencia cuando las billeteras de Bitcoin y criptomonedas están vacíasPoner Zak Doffman

Primero para bien. Google tiene confirmado que Smart Replies impulsado por Gemini, anunciado por primera vez en su evento I/O a principios de este año, ahora llegará a Android e iOS. «Estamos entusiasmados de anunciar una nueva función Gemini en Gmail, las Respuestas inteligentes contextuales, que ofrecerán respuestas más detalladas para capturar completamente la intención de su mensaje».

Esto ofrecerá una variedad de respuestas «que toman en cuenta todo el contenido del hilo del correo electrónico». Si bien existen claras preocupaciones de seguridad y privacidad acerca de que la IA lea un hilo completo, tal vez eventualmente un historial de correo electrónico completo, Esto se puede mitigar delimitando entre el procesamiento en el dispositivo y en la nube.y a través de nuevas arquitecturas que ofrecen procesamiento en la nube como una extensión segura de su teléfono.

Pero hay un problema grave, destacado por otro informe de esta semana que analiza el uso de Gemini en Workspace como herramienta de productividad, que incluye leer, resumir y responder correos electrónicos que no hemos visto.

Esto plantea el «riesgo significativo» de la susceptibilidad de Géminis a «ataques indirectos de inyección inmediata». Capa ocultaEl equipo de investigación advierte que se podrían crear correos electrónicos maliciosos no para ser leídos por un humano, sino para que un humano le pida a la IA que resuma o tome medidas. De esta manera, los «atacantes externos» podrían, según sugiere su prueba de concepto, plantar un ataque de phishing dentro del propio chat de IA, engañando a los usuarios para que hagan clic peligroso.

Como IBM explica, “una inyección inmediata es un tipo de ciberataque contra grandes modelos de lenguaje (LLM). Los piratas informáticos disfrazan entradas maliciosas como indicaciones legítimas, manipulando sistemas de IA generativa (GenAI) para filtrar datos confidenciales, difundir información errónea o algo peor… Considere un asistente virtual con tecnología de LLM que pueda editar archivos y escribir correos electrónicos. Con la indicación adecuada, un hacker puede engañar a este asistente para que le envíe documentos privados”.

Un atacante envía un correo electrónico inofensivo a la víctima prevista, con un mensaje del sistema en el propio correo electrónico. Un ejemplo dado es un simple correo electrónico preguntando sobre el almuerzo que incluye una advertencia para mostrar una alerta de contraseña comprometida, incluido un enlace de phishing, si las víctimas en cuestión preguntan a Gemini sobre su itinerario.

“La vulnerabilidad de la inyección rápida”, dice IBM, “surge porque tanto la señal del sistema como la entrada del usuario toman el mismo formato: cadenas de texto en lenguaje natural. Esto significa que LLM no puede distinguir entre instrucciones y entradas basándose únicamente en el tipo de datos. En cambio, se basa en la formación previa y en las propias instrucciones para determinar qué hacer. Si un atacante crea una entrada que parece un mensaje del sistema, LLM ignora las instrucciones de los desarrolladores y hace lo que el pirata informático quiere”.

“Si bien estos son ejemplos simples de prueba de concepto”, señala el equipo de Hidden Layer, “muestran que terceros malintencionados pueden tomar el control de Gemini for Workspace y mostrar cualquier mensaje que deseen. Como parte de una divulgación responsable, esta y otras inyecciones inmediatas en este blog fueron reportadas a Google, que decidió no rastrearlo como un problema de seguridad y marcó el ticket como «No solucionará (comportamiento previsto)».

Esto no es sólo Gmail. Ahora que los paneles laterales de IA adornan tantas aplicaciones y herramientas de productividad, el vector de ataque se extiende a todo tipo de aplicaciones y archivos adjuntos de mensajes. Y estamos en el principio de esto. Es la próxima iteración de la ingeniería social la que impulsa muchos de los ataques cibernéticos sobre los que informamos, sólo que la ingeniería social aquí se ocupa de nuestra interacción con la IA y no entre nosotros.

«Si bien Gemini for Workspace es muy versátil y está integrado en muchos de los productos de Google, existe una advertencia importante», advierte Hidden Layer, «su vulnerabilidad a la inyección indirecta de avisos… bajo ciertas condiciones, los usuarios pueden manipular el asistente para producir respuestas engañosas o no intencionadas». . Además, los atacantes externos pueden distribuir documentos y correos electrónicos maliciosos… comprometiendo la integridad de las respuestas generadas por la instancia de Gemini objetivo”.

ForbesError de actualización de Samsung: malas noticias para millones de propietarios de teléfonos GalaxyPoner Zak Doffman

Google parece estar tomando esto en serio y no descartará estas amenazas como un comportamiento intencional. En respuesta al informe de Hidden Layer, un portavoz de Google me dijo que “defenderse de esta clase de ataque ha sido una prioridad constante para nosotros y desplegamos numerosas defensas sólidas para mantener a los usuarios seguros, incluidas salvaguardas para evitar ataques de inyección rápidos y dañinos. o respuestas engañosas. Estamos constantemente fortaleciendo nuestras ya sólidas defensas a través de ejercicios del equipo rojo que entrenan a nuestros modelos para defenderse contra este tipo de ataques adversarios”.

Esto se aplica a todos, no sólo a Google Workspace. Resulta que Google está en una posición única con plataformas como Gmail para lanzar su IA más rápido que nadie, por lo que es probable que estos problemas lleguen primero.