Реконструкция видеороликов по активности мозга мышей

Исследователи разработали метод восстановления коротких видеороликов, используя только данные о мозговой активности, зафиксированной у мышей. Этот подход позволил воссоздать визуальные образы, которые наблюдали животные. Работа, проведённая в Университетском колледже Лондона (UCL), открывает новые возможности для изучения того, как мозг преобразует визуальные сигналы во внутренние представления окружающего мира.

Новый подход к изучению обработки визуальной информации

Публикация в журнале eLife описывает, как полученные результаты могут способствовать более глубокому пониманию обработки зрительной информации в мозге. В дальнейшем метод позволит сравнивать, как разные виды воспринимают одну и ту же среду.

В предыдущих исследованиях на людях применялись методы, при которых испытуемым показывали изображения и фильмы, одновременно регистрируя мозговую активность с помощью МРТ. Затем по этим данным пытались восстановить визуальную информацию вплоть до отдельных пикселей. В новом исследовании использовались записи активности отдельных клеток мозга мышей, что обеспечивает более детальное представление о том, как визуальная информация кодируется в мозге. С помощью данных, полученных из зрительной коры, удалось создать высококачественные реконструкции видеороликов, которые демонстрировались животным.

Технология и алгоритмы реконструкции

Для восстановления фильмов команда использовала динамическую модель нейронного кодирования, изначально разработанную для конкурса Sensorium 2023. Эта модель прогнозирует реакцию отдельных нейронов при просмотре фильмов мышами и учитывает дополнительные параметры, такие как движения животных и изменения диаметра зрачка.

Исследователи из UCL доработали этот подход, используя тот же набор данных. Сначала они рассчитали, как нейроны должны были бы реагировать при просмотре пустого экрана, и сравнили эти прогнозы с реальной активностью при просмотре фильмов. Мозговая активность измерялась с помощью микроскопического метода, определяющего активные клетки по локальным повышениям уровня кальция.

Алгоритм постепенно изменял пиксели изначально пустого фильма, используя разницу между прогнозируемой и измеренной активностью, чтобы реконструированное видео всё больше напоминало оригинал, показанный мыши.

Проверка метода и перспективы

После обучения модели был проведён дополнительный тест: мозговая активность регистрировалась при просмотре мышью ранее не использовавшегося для обучения видеоролика. Используя только эти данные, система смогла восстановить 10-секундный фильм, схожий с новым видео.

Для оценки качества реконструкций применялся метод корреляции пикселей, сравнивающий соответствующие пиксели в оригинальных и восстановленных фильмах. Анализ показал лишь незначительные временные различия между двумя видео. Отмечается, что существует потенциал для повышения разрешения изображений и увеличения объёма визуальной сцены, которую можно реконструировать.

В дальнейшем планируется сбор данных, позволяющих создавать более чёткие реконструкции и охватывать большую часть того, что видят животные. Метод также будет использоваться для изучения различий между физической реальностью и внутренним представлением мозга.

Значение исследования

Зрение не является простым процессом записи, подобным работе камеры. Мозг постоянно интерпретирует, фильтрует и изменяет поступающую сенсорную информацию. Понимание того, где и как происходят эти изменения, может раскрыть важные принципы восприятия. Исследование демонстрирует, что внутреннее представление мира в мозге отличается от объективной реальности, и эти различия отражают особенности обработки информации мозгом.