Facebook está invirtiendo mucho tiempo y dinero en la realidad aumentada, incluida la construcción de su propia Gafas de realidad aumentada con Ray-Ban. Por el momento, estos dispositivos solo pueden grabar y compartir imágenes, pero ¿para qué cree la compañía que se utilizarán estos dispositivos en el futuro?

UN nuevo proyecto de investigación liderado por el equipo de inteligencia artificial de Facebook sugiere el alcance de las ambiciones de la empresa. Se imagina sistemas de inteligencia artificial que analizan constantemente la vida de las personas utilizando videos en primera persona; registrar lo que ven, hacen y oyen para ayudarlos con sus tareas diarias. Los investigadores de Facebook han delineado una serie de habilidades que quieren que desarrollen estos sistemas, incluida la “memoria episódica” (respondiendo preguntas como “¿dónde dejé mis llaves?”) Y la “diarización audiovisual” (recordando quién dijo y cuándo).

En la actualidad, las tareas descritas anteriormente no pueden ser realizadas de manera confiable por ningún sistema de inteligencia artificial, y Facebook enfatiza que este es un proyecto de investigación y no un desarrollo comercial. Sin embargo, está claro que la compañía ve funcionalidades como estas como el futuro de la computación AR. «Definitivamente, pensando en la realidad aumentada y en lo que nos gustaría hacer con ella, hay posibilidades en el futuro de que aprovechemos este tipo de investigación», dijo la investigadora de inteligencia artificial de Facebook, Kristen Grauman. El borde.

Estas ambiciones tienen enormes implicaciones para la privacidad. Los expertos en privacidad ya están preocupados por cómo las gafas AR de Facebook permiten a los usuarios grabar en secreto a miembros del público. Estas preocupaciones solo se agravarán si las versiones futuras del hardware no solo registran las imágenes, sino que también las analizan y transcriben, convirtiendo a los usuarios en máquinas de vigilancia ambulantes.

Foto de Amanda Lopez para The Verge

El nombre del proyecto de investigación de Facebook es Ego4D, que se refiere al análisis de video en primera persona o «egocéntrico». Consta de dos componentes principales: un conjunto de datos de video egocéntrico abierto y una serie de puntos de referencia que Facebook cree que los sistemas de inteligencia artificial deberían poder manejar en el futuro.

El conjunto de datos es el más grande de su tipo jamás creado, y Facebook se ha asociado con 13 universidades de todo el mundo para recopilar los datos. En total, 855 participantes que viven en nueve países diferentes grabaron alrededor de 3.205 horas de metraje. Las universidades, no Facebook, fueron las responsables de recopilar los datos. Los participantes, algunos de los cuales recibieron pago, utilizaron cámaras GoPro y gafas AR para grabar videos de actividades no programadas. Esto va desde trabajos de construcción hasta hornear, jugar con mascotas y socializar con amigos. Todas las imágenes fueron desidentificadas por las universidades, lo que incluyó difuminar los rostros de los espectadores y eliminar cualquier información de identificación personal.

Grauman dice que el conjunto de datos es «el primero de su tipo en escala y diversidad». El proyecto comparable más cercano, dice ella, contiene 100 horas de metraje en primera persona filmado íntegramente en cocinas. “Hemos abierto los ojos de estos sistemas de IA a más que solo cocinas en el Reino Unido y Sicilia, pero [to footage from] Arabia Saudita, Tokio, Los Ángeles y Colombia. «

El segundo componente de Ego4D es una serie de puntos de referencia, o tareas, que Facebook quiere que los investigadores de todo el mundo intenten resolver utilizando sistemas de inteligencia artificial entrenados en su conjunto de datos. La empresa los describe como:

memoria episódica: ¿Qué pasó cuando (por ejemplo, «¿Dónde dejé mis llaves?»)?

Pronóstico: ¿Qué debo hacer a continuación (por ejemplo, «Espera, ya le agregaste sal a esta receta»)?

Manipulación de manos y objetos: ¿Qué estoy haciendo (por ejemplo, «Enséñame a tocar la batería»)?

diarización audiovisual: ¿Quién dijo qué y cuándo (por ejemplo, «¿Cuál fue el tema principal durante la clase?»)?

Interacción social: ¿Quién está interactuando con quién (por ejemplo, «Ayúdame a escuchar mejor a la persona que me habla en este restaurante ruidoso»)?

Por el momento, a los sistemas de inteligencia artificial les resultaría increíblemente difícil lidiar con cualquiera de estos problemas, pero la creación de conjuntos de datos y puntos de referencia son métodos probados para estimular el desarrollo en el campo de la inteligencia artificial.

De hecho, la creación de un conjunto de datos específico y una competencia anual asociada, conocida como ImageNet, a menudo es acreditado con el kickstarting el reciente boom de la IA. Los conjuntos de datos de ImagetNet consisten en imágenes de una amplia variedad de objetos que los investigadores han capacitado a sistemas de inteligencia artificial para identificar. En 2012, el ganador del concurso utilizó un método particular de aprendizaje profundo para superar a sus rivales, marcando el comienzo de la era actual de la investigación.

Imagen: Facebook

Facebook espera que su proyecto Ego4D tenga efectos similares en el mundo de la realidad aumentada. La compañía dice que los sistemas entrenados con Ego4D algún día podrían usarse no solo en cámaras portátiles, sino también en robots asistentes domésticos, que también tienen cámaras en primera persona para navegar por el mundo que los rodea.

“El proyecto tiene la oportunidad de catalizar realmente el trabajo en esta área de una manera que aún no ha sido posible”, dice Grauman. «Para mover nuestro campo de la capacidad de analizar pilas de fotos y videos que fueron hechos por humanos con un propósito muy especial, a ese flujo visual fluido y continuo en primera persona que los sistemas de AR y los robots necesitan entender en el contexto de la actividad. «

Si bien las tareas que describe Facebook ciertamente parecen prácticas, el interés de la empresa en esta área preocupará a muchos. El historial de Facebook sobre privacidad es abismal, cubriendo fugas de datos y $ 5 mil millones en multas de la FTC. Y también he estado demostración repetidamente que la empresa valora el crecimiento y el compromiso por encima del bienestar del usuario en muchos dominios. Con eso en mente, es preocupante que los puntos de referencia en este proyecto Ego4D no incluyan protecciones de privacidad prominentes. Por ejemplo, la tarea de “diario audiovisual” (transcribir lo que dicen diferentes personas) nunca menciona la eliminación de datos sobre personas que no desean ser grabadas.

Cuando se le preguntó sobre estos problemas, un portavoz de Facebook dijo El borde que esperaba que las salvaguardias de la privacidad se introdujeran más tarde. “Esperamos que a medida que las empresas utilicen este conjunto de datos y pruebas comparativas para desarrollar aplicaciones comerciales, desarrollen protecciones para esas aplicaciones”, dijo el portavoz. “Por ejemplo, antes de que las gafas de realidad aumentada puedan mejorar la voz de alguien, es posible que exista un protocolo que sigan para pedir permiso para las gafas de otra persona, o que limiten el alcance del dispositivo para que solo pueda captar los sonidos de las personas que conozco. ya estoy hablando con o que están en mi vecindad. »

Por ahora, estas salvaguardas son solo hipotéticas.