Нейросеть помогла раскрыть синхронизацию распознающих слова регионов мозга

Для получения подобных сведений ученые воспользовались “большими языковыми моделями”.

Нейрофизиологи выявили при помощи нейросети GPT2 первые свидетельства того, что активность регионов мозга, связанных с обработкой речи, в значительной степени синхронизируется у слушающих и говорящих людей. Это позволяет изучать проявления активности мозга, связанные с значениями отдельных слов.

Способность людей понимать друг друга сильно зависит от того, какие контекстные значения слов употребляются при построении предложений или используются в беседе с окружающими. Ученые впервые изучили то, насколько важен контекст слов в синхронизации активности мозга, которая происходит между слушателем и говорящим, а также раскрыли то, что именно синхронизируется.

Для получения подобных сведений ученые воспользовались тем, что за последние годы их коллеги-математики разработали большое число так называемых “больших языковых моделей” (LLM), сложно устроенных языковых нейросетей. Эти алгоритмы способны отвечать на фактически любые запросы пользователей в том числе благодаря наличию у них способности понимать контекст слов, употребляемых их пользователями при выражении их желаний.

Нейрофизиологи заинтересовались тем, можно ли воспользоваться данной способностью LLM для изучения процессов в мозге человека, связанных с распознаванием и употреблением слов в различных контекстах. Руководствуясь этой идеей, ученые заручились поддержкой десяти пациентов с тяжелыми формами эпилепсии, в чей мозг были имплантированы электроды для поиска очагов эпилептических припадков.

Исследователи и разбили добровольцев на пары и попросили их завязать разговор на свободные темы, в рамках которых один человек только говорил, а другой при этом только слушал собеседника. В это время ученые записывали электрические сигналы, вырабатываемые мозгом и того, и другого участника беседы, сравнивали их друг с другом и анализировали их при помощи нейросети GPT-2.

Эти сравнения и нейросетевой анализ показали, что активность мозга добровольцев действительно в значительной степени синхронизировалась во время беседы, и при этом ученые обнаружили схожие изменения в работе регионов мозга, связанных с обработкой речи. Появление этих всплесков активности, как показывают расчеты ученых, позволяет предугадать то, в каком контексте будет употреблено то или иное слово примерно за 250 миллисекунд до того, как его произнесет человек.

Наличие подобной синхронизации в работе регионов мозга собеседников, связанных с пониманием значений слов, в перспективе позволит ученым изучить то, как меняется активность нервной системы при распознавании разных значений отдельных слов. Понимание этого позволит усовершенствовать работу LLM, а также понять, как наша нервная система обрабатывает лингвистическую информацию.

Источник: nauka.tass.ru