Мы работаем при поддержке
08.12.2016. Четверг
Учёные из Сибири создали приложение, переводящее речь в жестовый язык

На «прямой линии» президенту рассказали о проблемах глухих людей: мол, они не в состоянии даже вызвать себе «скорую помощь». Парадокс, но ответ Путина многие из них не услышали: сурдопереводом была снабжена лишь трансляция Общественного телевидения.

За этим печально наблюдала и Юлия Мануева, магистрант Новосибирского государственного технического университета (НГТУ). Она одна из тех, кто разрабатывает устройство для связи между слышащими и неслышащими. «Я часто думаю о том, в каком информационном вакууме они живут, – говорит Юля. – Государство выделяет им сурдопереводчиков – сходить, скажем, куда-то по делам. Но в целом проблема не решается».

Как считать жесты
А как её можно решить в идеале? В идеале – написать программу для мобильных телефонов, которая будет загружаться в «трубки» как глухих, так и слышащих (их родственников, волонтёров, соцработников, а то и всех желающих). Когда слышащий будет звонить глухому, программа трансформирует его речь в бегущую строку на экране. Плюс некий аватар сурдопереводчика (нарисованный персонаж, мультяшная кукла) языком жестов покажет с экрана нужную информацию. Можно общаться и в обратную сторону: видеокамера на телефоне будет считывать жесты глухого и переводить их в звучащую «на другом конце провода» речь.

В России 300 тыс. человек вообще ничего не слышат: у них тотальная глухота, без жестов не обойтись. В Новосибирске таких около 4 тыс., и многие ежегодно поступают учиться в местный Институт социальной реабилитации НГТУ. Именно для этих людей профессор Михаил Гриф, зав. кафедрой автоматизированных систем управления НГТУ, взялся разрабатывать компьютерный сурдопереводчик. Было это в конце 90-х.

«Удивительно, но до нас никто не смог реализовать такую идею – научиться распознавать голос, преобразовывать его в язык жестов на компьютерном персонаже или через видеоофильм перевода. Мы реализовали её первыми, – рассказывает Михаил Гриф. – Мобильных телефонов тогда не было, программа работала на персональном компьютере. Это, конечно, усложняло её использование на практике. Кроме того, трудно было сделать этот самый аватар, компьютерный персонаж, который бы передавал жесты сурдоязыка без искажений».

Переводчица Зоя
С тех пор технологии «подросли». И Михаил Гриф вернулся к разработке.

Юлия Мануева приехала в Новосибирск из Улан-Удэ. «У меня мама работает на предприятии, где делают протезы для инвалидов. Поэтому я с детства знакома с темой, – говорит она. – А программирование – та отрасль, где ты реально видишь результат своего труда. Хоть таким способом я могу помочь глухим людям».

Юлия пишет программы, распознающие жесты. В любом языке одно слово может иметь несколько значений, как, например, «лук», «коса», «команда». Чтобы компьютерный переводчик выбрал верный жест из двух-трёх имеющихся в словаре и не ввёл в заблуждение своего глухого хозяина, он должен правильно понять значение слова. Оно ему становится ясно из контекста – соседних слов. Над этим и работает Мануева. «Слышащему человеку трудно представить, сколько тут тонкостей, – продолжает М. Гриф. – Вот вы, например, знаете, что единого русского языка жестов не существует? У него долго не было официально признанного статуса. В разных регионах используются разные диалекты. В Москве один, в Санкт-Петербурге – другой, в Сибири – третий. Иначе говоря, двое глухих из Москвы и Питера могут не понять друг друга, у них разница в жестах достигает 60%! Мы привлекали лингвистов из всех этих регионов, прислушивались к их рекомендациям».

Три года ушло на создание мультяшного персонажа, аватара. Сейчас он превратился в девушку по имени Зоя, показывающую жесты сурдоязыка с экрана смартфона. Перевод можно ускорить или замедлить, остановить, повторить. Теперь программисты работают над тем, чтобы «подселить» Зою в телевизор – для перевода фильмов и программ. Хорошо бы ещё, чтобы ей нашлось место в госучреждениях, куда часто обращаются инвалиды по слуху. А то им приходится, как правило, писать на бумажке, зачем они пришли, положенных по закону сурдопереводчиков на всех не хватает. Наконец, ноу-хау учёных можно адаптировать к любому из мировых языков. А это значит – помочь глухим путешествовать по миру.

Пишите комментарии, подписывайтесь в социальных сетях: ВКонтакте, Twitter, Instagram, YouTube, Facebook и обязательно устанавливайте наше мобильное приложение для Android и iPhone.



 

Комментарии  

deva
#5 deva 22.02.2016 17:02
Цитирую Людмила:
Очень долго искала что-нибудь подобное. Где можно скачать или купить это приложение?

приложение Сурдофон
Цитировать
Азамат Бобоноров
#4 Азамат Бобоноров 20.06.2014 12:40
:-?
Цитировать
Людмила
#3 Людмила 05.06.2014 13:55
Для всех, кому это интересно: http://www.surdophone.ru/
Цитировать
Людмила
#2 Людмила 28.05.2014 13:53
Очень долго искала что-нибудь подобное. Где можно скачать или купить это приложение?
Цитировать
Макс Фрол
#1 Макс Фрол 17.05.2014 20:09
как называется этот мобильное приложения?
Цитировать
 

Добавить комментарий

Комментирование доступно гостям. Комментарии модерируются.
Оставляя комментарий, вы подтверждаете, что согласны с Правилами.
Правила размещения сообщений пользователями на сайте «Глухих.нет».


Войти с помощью соцсетей



Защитный код
Обновить

Нравятся новости «Глухих.нет»? Отблагодари рублём!




Ближайшие мероприятия


   

Авторизация

Вы можете войти с помощью социальных сетей:

или пройти обычную процедуру авторизации: