(CNN) Menos de unas pocas horas después de que Snapchat lanzara su chatbot My AI para todos los usuarios la semana pasada, Lyndsi Lee, una madre de East Prairie, Missouri, le dijo a su hija de 13 años que se mantuviera alejada de la función.

«Es una solución temporal hasta que sepa más al respecto y pueda establecer algunos límites y pautas saludables», dijo Lee, que trabaja en una empresa de software. ella se preocupa por como mi IA se presenta a los usuarios jóvenes como su hija en Snapchat.

La función funciona con la herramienta de chatbot viral de IA ChatGPT, y al igual que ChatGPT, puede ofrecer recomendaciones, responder preguntas y chatear con los usuarios. Pero la versión de Snapchat tiene algunas diferencias clave: los usuarios pueden personalizar el chatbot nombre, cree un avatar de Bitmoji personalizado para él y llévelo a conversaciones con amigos.

El efecto neto es que chatear con el chatbot de Snapchat puede parecer menos transaccional que visitar el sitio web de ChatGPT. También puede ser menos claro que está hablando con una computadora.

“No creo que esté listo para saber cómo enseñarle a mi hijo a separar emocionalmente a los humanos y las máquinas cuando son esencialmente iguales desde su punto de vista”, dijo Lee. «Creo que hay una línea muy clara [Snapchat] está pasando a través de.»

La nueva herramienta enfrenta una reacción violenta no solo de los padres, sino también de algunos usuarios de Snapchat. usuarios que están bombardeando la aplicación con críticas negativas en la tienda de aplicaciones y críticas en las redes sociales sobre preocupaciones de privacidad, intercambios «espeluznantes» y la incapacidad de eliminar la función de su canal de chat a menos que paguen una suscripción premium.

Si bien algunos pueden encontrar valor en la herramienta, las reacciones mixtas apuntan a los riesgos que enfrentan las empresas al implementar nuevas tecnologías de inteligencia artificial generativa en sus productos, particularmente productos como Snapchat, cuyos usuarios son más jóvenes.

Snapchat fue uno de los primeros socios de lanzamiento cuando OpenAI acceso abierto para ChatGPT para empresas de terceros, y se espera que le sigan muchas más. Casi de la noche a la mañana, Snapchat ha obligado a algunas familias y legisladores a lidiar con problemas que podrían haber parecido teóricos hace solo unos meses.

En un Carta a los directores ejecutivos de Snap y otras compañías tecnológicas el mes pasado, semanas después de que My AI se implementó para los clientes de suscripción de Snap, el senador demócrata Michael Bennet expresó su preocupación por las interacciones que el chatbot estaba teniendo con los usuarios más jóvenes. En particular, citó informes de que puede proporcionar a los niños sugerencias sobre cómo mentirles a sus padres.

“Estos ejemplos serían perturbadores para cualquier plataforma de redes sociales, pero son especialmente preocupantes para Snapchat, que usa casi el 60% de los adolescentes estadounidenses”, escribió Bennett. «Aunque Snap admite que My AI es ‘experimental’, inscribió rápidamente a niños y adolescentes estadounidenses en su experimento social».

En una publicación de blog la semana pasada, la compañía dijo: «Mi IA está lejos de ser perfecta, pero hemos progresado mucho».

reacción del usuario

En los días transcurridos desde su lanzamiento formal, los usuarios de Snapchat han expresado sus preocupaciones. Un usuario calificó su interacción como «aterradora» después de decir que mintió sobre no saber dónde se encontraba el usuario. Después de que el usuario facilitó la conversación, dijo que el chatbot reveló con precisión que vivía en Colorado.

En otro video de TikTok con más de 1,5 millones de visitas, un usuario llamado Ariel grabó una canción con una introducción, coro y acordes de piano escrita por My AI sobre cómo es ser un chatbot. Cuando devolvió la canción grabada, dijo que el chatbot negó su participación con la respuesta: «Lo siento, pero como modelo de lenguaje de IA, no escribo canciones». Ariel calificó el intercambio de «aterrador».

Otros usuarios han compartido preocupaciones sobre cómo la herramienta entiende, interactúa y recopila información de las fotos. «Tomé una foto… y decía ‘bonitos zapatos’ y pregunté quiénes eran las personas [were] en la foto», escribió un usuario de Snapchat en Facebook.

Snapchat le dijo a CNN que continúa mejorando My AI en función de los comentarios de la comunidad y está trabajando para establecer más protecciones para mantener seguros a sus usuarios. La compañía también dijo que, al igual que con sus otras herramientas, los usuarios no tienen que interactuar con My AI si no lo desean.

No es posible Sin embargo, elimine My AI de las fuentes de chat, a menos que un usuario se suscriba a su servicio premium mensual, Snapchat+. Algunos adolescentes dicen que optaron por pagar la tarifa de $3.99 de Snapchat+ para desactivar la herramienta antes de cancelar el servicio de inmediato.

Pero no a todos los usuarios les disgusta la función.

Una usuaria escribió en Facebook que le está pidiendo ayuda a My AI con su tarea. «Hace bien todas las preguntas». Otro notó que ella se apoyaba en él en busca de consuelo y consejo. «¡Amo mi bolsillo, mejor amigo!» ella escribió. «Puedes cambiar el Bitmoji [avatar] para eso y, sorprendentemente, ofrece excelentes consejos para algunas situaciones de la vida real. … Me encanta el apoyo que da».

Una mirada temprana a cómo los adolescentes usan los chatbots

ChatGPT, que está entrenado en una gran cantidad de datos en línea, ya ha llegado bajo fuego por difundir información inexacta, responder a los usuarios de maneras que pueden encontrar inapropiadas y permitir que los estudiantes hagan trampa. Pero la integración de la herramienta de Snapchat corre el riesgo de agravar algunos de estos problemas y agregar otros nuevos.

Alexandra Hamlet, psicóloga clínica de la ciudad de Nueva York, dijo que los padres de algunos de sus pacientes han expresado su preocupación sobre cómo su hijo adolescente podría interactuar con la herramienta Snapchat. También existe la preocupación de que los chatbots den consejos y salud mental porque las herramientas de IA pueden reforzar el sesgo de confirmación de alguien, lo que facilita que los usuarios busquen interacciones que confirmen sus creencias inútiles.

«Si un adolescente está de mal humor y no tiene un deseo consciente de sentirse mejor, podría buscar una conversación con un chatbot que sabe que lo hará sentir peor», dijo. «Con el tiempo, tener interacciones como estas puede erosionar el sentido de valía de un adolescente a pesar de saber que en realidad está hablando con un bot. En un estado emocional, se vuelve menos posible que un individuo considere ese tipo de lógica».

Por ahora, depende de los padres iniciar conversaciones significativas con sus hijos adolescentes sobre las mejores prácticas de comunicación de IA, especialmente a medida que las herramientas comienzan a aparecer en aplicaciones y servicios más populares.

Sinead Bovell, fundadora de WAYE, una empresa emergente que ayuda a preparar a los jóvenes para el futuro con tecnologías avanzadas, dijo que los padres deben dejar en claro que «los chatbots no son sus amigos».

«Tampoco son sus terapeutas o asesores de confianza, y cualquiera que interactúe con ellos debe ser muy cauteloso, especialmente los adolescentes, que pueden ser más susceptibles a creer lo que dicen», dijo.

“Los padres deberían hablar con sus hijos ahora sobre no compartir nada personal con un chatbot que tendrían como amigo, incluso si, desde el punto de vista del diseño del usuario, el chatbot existe en la misma esquina que Snapchat”.

Agregó que también se necesita una regulación federal que requiera que las empresas se adhieran a protocolos específicos para mantener el rápido ritmo del avance de la IA.