Создан ИИ, позволяющий управлять звучанием музыки голосом и жестами
Алгоритм позволяет человеку без навыков игры на музыкальных инструментах влиять на воспроизведение классической музыки.
Ученые из России и Германии разработали нейросетевую систему, позволяющую “дирижировать” воспроизведением классических музыкальных произведений – произвольным образом менять их звучание при помощи жестов, мимики и голоса.
Использованная учеными модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе получается исполнение произведения. Целью новой ИИ было сделать так, чтобы этой моделью можно было управлять, поэтому ученые подключили ее к приложению, которое позволяет пользователю общаться с ней.
Как отмечают авторы, разработанный ими алгоритм позволяет человеку, не обладающему навыками игры на музыкальных инструментах, влиять на то, как воспроизводится то или иное произведение классической музыки. Для этого ученые подготовили нейросеть, способную воспроизводить музыку с учетом авторских указаний (нотной записи), а также набор алгоритмов, которые дополняют эти указания пожеланиями слушателя.
Эти пожелания, по словам исследователей, слушатель может задавать любым удобным ему способом. Как пишут исследователи, здесь человек выступает в роли дирижера, чьи жесты, мимика лицо и голос управляют игрой десятков других музыкантов при исполнении сложных произведений. Для распознавания этих указаний ученые использовали нейросеть GPT-3, которая помогала им определять намерения пользователя по его словесным инструкциям, а также другие системы машинного обучения, умеющие распознавать эмоции и жесты.
Также исследователи создали мобильное приложение, которое позволяет дирижировать исполнением музыки в режиме реального времени и совместно с системами ИИ придавать уникальное звучание классическим произведениям. Используя приложение, а также камеру и микрофон смартфона, ученые смогли превратить мазурки Шопена в колыбельные.
Сейчас ученые разрабатывают новые версии этой системы, которые позволят сделать процесс общения пользователя и нейросетей полностью интерактивным, что ускорит процесс дирижирования. Кроме того, для воспроизведения будут доступны не только шедевры классической музыки, но и многие оркестровые произведения.
Источник: nauka.tass.ru
