Ученые впервые воссоздали прослушанную песню по сигналам из мозга человека
Американские ученые разработали подход, позволяющий использовать данные с внутричерепных электроэнцефалографов для реконструкции и воспроизведения песен, которые недавно прослушал человек. Это открытие ускорит создание систем, способных “читать” эмоции и интонации речи инвалидов.
Удивительные результаты экспериментов ученых помогут сделать более “музыкальными” и естественными новые нейроинтерфейсы для носителей бокового амиотрофического склероза и других людей, утерявших способность самостоятельно говорить. Эти устройства смогут не только считывать лингвистическое содержимое мыслей, но и интонации и эмоции.
За последние годы ученые создали десятки нейроинтерфейсов, трансформирующих активность мозга пациентов в устную или письменную речь. Самые успешные из подобных разработок позволяют инвалидам и немым людям общаться при помощи систем синтеза речи, однако они не позволяют передавать эмоции и интонации.
Ученые сделали шаг к решению этой проблемы во время наблюдений за работой мозга 29 пациентов-эпилептиков, готовившихся к операциям на очагах приступов. Для поиска этих областей в мозг пациентов имплантируют электроды, что позволило авторам работы отслеживать изменения мозговой активности в ответ на различные сигналы. Всего каждому участнику имплантировали более 2,5 тыс. микроэлектродов.
Ученые заинтересовались тем, можно ли использовать эти данные для декодирования речи и музыки, которую слышит человек. Так, они предложили добровольцам прослушать запись песни “Another Brick in the Wall, Part 1” рок-группы Pink Floyd, проследили за переменами в активности разных областей головного мозга, в том числе верхней височной извилины, отвечающей за обработку речи и других аудиосигналов.
Ученые сопоставили полученные данные с тем, какие ноты, аккорды и звуки голоса звучали в каждый момент изменения мозговой активности. Этот анализ показал, что сигналы от верхней височной извилины в целом “синхронизировались” со звучанием композиции.
Затем исследователи разработали систему машинного обучения, которая позволяла практически полностью реконструировать прослушанную песню по данным от 346 электродов, подключенных к верхней височной извилине и к связанным с ней регионам мозга. При этом ученые обнаружили, что прослушанные звуки можно было услышать и понять, даже если для реконструкции использовались данные со всего 40 электродов.
Последующий анализ сигналов позволил выделить конкретные наборы нейронов и области в верхней височной извилине, которые отвечали за восприятие ритма, различных музыкальных инструментов, голоса людей, а также высоких и низких звуков. Последующее изучение этих областей мозга, как надеются исследователи, позволит создать новое поколение нейроинтерфейсов, способных считывать не только мысли, но и эмоции и интонацию речи.
Источник: nauka.tass.ru
