Нейросеть научили переводить текст на язык жестов

Британские ученые разработали уникальный самообучаемый алгоритм, который автоматизирует перевод текста на жестовый язык. Получив задание программа мгновенно создает аватар человека с детально прорисованными движениями рук.

Руководитель проекта Ричард Боуден подробно рассказал, как устроена работа алгоритма. Сначала нейросеть принимает речь в виде текста, затем с помощью кодировщика и декодировщика превращает его в скелетную модель тела. Далее полученная последовательность поз говорящего кодируется в вектор, который объединяется с реалистичным изображением человека. На выходе получают качественное видео, которое могут прочитать люди с частичной или полной потерей слуха.

Ожидается, что нейросеть сможет заменить живых сурдопереводчиков во время прямого эфира или живого выступления. Таким образом носители жестового языка получат доступ к огромному количеству новой информации.

Ранее Первый Севастопольский писал, что выращивание утерянных рук и ног вскоре перестанет быть фантастикой.

Источник: https://sev.tv/news/nejroset_nauchili_perevodit_tekst_na_jazyk_zhestov_/30742.html?utm_source=yxnews&utm_medium=desktop