Студент Крымского университета обучил нейросеть распознавать язык жестов

В вузе уточнили, что для обучения нейросети была создана база данных, в которой на каждую букву приходится от 100 до 200 примеров жестов от разных людей, с разных камер и ракурсов.

Учащийся Крымского федерального университета (КФУ) им. Вернадского разработал систему распознавания языка жестов с текстовой расшифровкой при помощи нейросети.

Студент Крымского федерального университета Денис Щербаков разработал систему для распознавания жестового языка. Проект включает три системы распознавания жестов, одна из которых построена на основе нейросети. Посредством камеры программа распознает жесты и выводит буквы на экран. Система способна распознавать более 30 знаков.

Как уточнили в университете, для обучения нейросети студент использовал собственную базу данных, в которой на каждую букву приходится от 100 до 200 примеров жестов от разных людей, с разных камер и ракурсов.

Для разработки использовалась система, состоящая в сравнении координат – костяшек руки. Также использовались специальные функции, дескрипторы многоугольника, который составляла рука. Путем математики и алгоритмов был создан датасет, при помощи которого можно идентифицировать жест.

Источник: nauka.tass.ru