El agente de IA también aprende repitiendo secuencias neuronales. Crédito: Noticias de neurociencia

Resumen: Los científicos han avanzado en el descubrimiento de los mecanismos subyacentes a la formación y consolidación de la memoria en el cerebro durante el descanso o el sueño.

Un nuevo estudio se centra en el papel del hipocampo, una región del cerebro importante para la memoria, y sus células locales que «reproducen» secuencias neuronales.

Los investigadores construyeron un modelo de inteligencia artificial para comprender mejor estos procesos y descubrieron que las secuencias de experiencia se priorizan durante la reproducción en función de la familiaridad y las recompensas.

Resultó que el agente de IA aprende información espacial de manera más eficiente cuando reproduce estas secuencias priorizadas, lo que ofrece información valiosa sobre la forma en que nuestros cerebros aprenden y procesan la información.

Principales aspectos:

1. El hipocampo contiene células locales que disparan en lugares específicos, y estas células juegan un papel crucial en la «repetición» durante el descanso o el sueño.
2. Las secuencias neuronales durante la reproducción no son aleatorias, sino que siguen ciertas reglas de priorización, como priorizar experiencias familiares y aquellas asociadas con recompensas.
3. El modelo de inteligencia artificial construido por los investigadores emula este proceso de reproducción y descubrió que aprende información espacial de manera más eficiente cuando reproduce secuencias priorizadas.

Fuente: fregar

La región cerebral del hipocampo es de gran importancia en la formación de la memoria. Esto fue ilustrado por casos famosos como el del paciente HM, quien no pudo formar nuevos recuerdos después de que le extirparon gran parte de su hipocampo.

Los estudios con roedores han demostrado el papel del hipocampo en el aprendizaje espacial y la navegación. Un descubrimiento importante en este contexto fueron las celdas que disparan en lugares específicos, conocidas como celdas de lugar.

“Juegan un papel en un fenómeno fascinante conocido como repetición”, explica Nicolas Diekmann.

“Cuando un animal se mueve, ciertas células en su lugar disparan una tras otra a lo largo del camino del animal. Más tarde, en reposo o durante el sueño, las células del mismo sitio pueden reactivarse en el mismo orden en que fueron experimentadas o en orden inverso”.

Las secuencias observadas durante la reproducción no solo reflejan el comportamiento anterior. Las secuencias también se pueden reensamblar, pueden adaptarse a cambios estructurales en el entorno o representar lugares aún no visitados pero vistos.

«Estábamos interesados ​​​​en saber cómo el hipocampo produce de manera eficiente una variedad de tipos de reproducción y para qué sirven», describe Nicolas Diekmann.

Por lo tanto, los investigadores construyeron un modelo de computadora en el que una inteligencia artificial aprende información espacial. Finalmente, estudian qué tan rápido el agente de IA encuentra una salida a una situación espacial específica. Cuanto mejor sepa, más rápido será.

La reproducción sigue ciertas reglas

El agente de IA también aprende repitiendo secuencias neuronales. Sin embargo, no se juegan al azar, sino que se priorizan de acuerdo con ciertas reglas.

“Las secuencias se reproducen estocásticamente según su priorización”, destaca Diekmann. Se priorizan las secuencias familiares. Las posiciones asociadas con una recompensa también se juegan con más frecuencia.

“Nuestro modelo es biológicamente plausible, genera una sobrecarga computacional manejable y aprende más rápido que los agentes cuyas secuencias se reproducen aleatoriamente”, resume Nicolas Diekmann. «Esto nos da un poco más de detalles sobre cómo aprende el cerebro».

Acerca de esta IA y noticias de investigación de aprendizaje

Autor: Meike Driessen
Fuente: fregar
Contacto: Meike Driessen – RUB
Imagen: La imagen está acreditada a Neuroscience News.

Búsqueda original: Acceso libre.
“Un modelo repetitivo del hipocampo impulsado por la experiencia y la estructura ambiental facilita el aprendizaje espacial” por Nicolás Diekmann et al. eLife

Abstracto

Un modelo repetitivo del hipocampo impulsado por la experiencia y la estructura ambiental facilita el aprendizaje espacial

La repetición de secuencias neuronales en el hipocampo durante los estados de reposo y sueño juega un papel importante en el aprendizaje y la consolidación de la memoria. De acuerdo con estas funciones, se ha demostrado que las secuencias repetitivas obedecen a las limitaciones espaciales actuales. Sin embargo, la repetición no refleja necesariamente el comportamiento pasado y puede generar secuencias nunca experimentadas.

Aquí, proponemos un mecanismo de reproducción estocástica que prioriza las experiencias en función de tres variables: 1. Fuerza de la experiencia, 2. Similitud de la experiencia y 3. Inhibición de retorno. El uso de este mecanismo de repetición priorizado para entrenar a los agentes de aprendizaje por refuerzo conduce a un rendimiento mucho mejor que el uso de la repetición aleatoria.

Su rendimiento está cerca del algoritmo de última generación pero computacionalmente intensivo de Mattar & Daw (2018). Es importante enfatizar que nuestro modelo reproduce varios tipos de reproducción debido a la estocasticidad del mecanismo de reproducción y las diferencias dependientes de la experiencia entre las tres variables.

En conclusión, un motor de reproducción unificado genera diversas estadísticas de reproducción y es eficiente para impulsar el aprendizaje espacial.