La última demostración de IA de Nvidia es bastante impresionante: una herramienta que convierte rápidamente «unas pocas docenas» de instantáneas 2D en una escena renderizada en 3D. En el video a continuación, puede ver el método en acción, con un modelo vestido como Andy Warhol sosteniendo una cámara Polaroid antigua. (No piense demasiado en la conexión de Warhol: es solo un poco de una escena de relaciones públicas).

La herramienta se llama Instant NeRF, refiriéndose a “campos de radiación neural”: una técnica desarrollada por investigadores de UC Berkeley, Google Research y UC San Diego en 2020. Si desea una explicación detallada de los campos de radiación neuronal, puede leer un aqui, pero en resumen, el método mapea el color y la intensidad de la luz de diferentes fotos 2D y luego genera datos para conectar estas imágenes desde diferentes puntos de vista y generar una escena 3D terminada. Además de las imágenes, el sistema requiere datos sobre la posición de la cámara.

Los investigadores han mejorado este tipo de modelo 2D a 3D desde hace un par de años, agregando más detalles a los renderizados terminados y aumentando la velocidad de renderizado. Nvidia dice que su nuevo modelo Instant NeRF es uno de los más rápidos jamás desarrollados y reduce el tiempo de renderizado de unos pocos minutos a un proceso que se completa «casi al instante».

A medida que la técnica se vuelve más rápida y fácil de implementar, se puede usar para todo tipo de tareas, dice Nvidia en una publicación de blog. describiendo el trabajo.

“Instant NeRF se puede usar para crear avatares o escenas para mundos virtuales, para capturar participantes de videoconferencias y sus entornos en 3D, o para reconstruir escenas para mapas digitales en 3D”, escribe Isha Salian de Nvidia. “La tecnología se puede usar para entrenar robots y autos autónomos para comprender el tamaño y la forma de los objetos del mundo real al capturar imágenes o videos en 2D de ellos. También se puede utilizar en arquitectura y entretenimiento para generar rápidamente representaciones digitales de entornos reales que los creadores pueden modificar y construir”. (Parece que el metaverso está llamando).

Desafortunadamente, Nvidia no ha compartido detalles sobre su método, por lo que no sabemos exactamente cuántas imágenes 2D se necesitan o cuánto tiempo lleva renderizar la escena 3D terminada (que también dependería de la potencia de la computadora que hace el renderizado). ). Aún así, parece que la tecnología está progresando rápidamente y podría comenzar a tener un impacto en el mundo real en los próximos años.