Томские студенты разработали мобильное приложение, превращающее речь в «мультики» для глухих

Магистранты Томского политехнического университета (ТПУ) разрабатывают мобильное приложение, которое позволит при помощи обычного смартфона переводить звучащую речь на русский жестовый язык, чтобы глухие люди могли общаться с окружающими без сурдопереводчика, сообщила в понедельник пресс-служба вуза.

«Приложение, над которым работают магистранты Института кибернетики ТПУ Виталий Видман и Александра Репецкая, станет посредником в общении с собеседниками, имеющими дефекты слуха. Программа будет моментально переводить звучащую речь на язык жестов и выводить анимацию на экран смартфона», – говорится в сообщении.

Уточняется, что приложение будет преобразовывать звучащие слова в текст, а текст – в анимированные картинки с жестами. Самая большая сложность – сделать так, чтобы программа верно переводила синтаксические конструкции, так как в языке жестов особый грамматический строй. Чтобы решить эту проблему, авторы проекта планируют сотрудничать с профессиональными сурдопереводчиками.

По информации пресс-службы, приложение будет отображать не только целые слова, но и работать с дактильной (пальцевой) азбукой, благодаря которой можно проговаривать по буквам сложные слова – например, имена собственные. В настоящее время разработчики уже создали прототип приложения, однако «словарный запас» программы пока ограничен, а вводить слова можно только с клавиатуры.

Добавляется, что приложение можно также использовать как словарь или средство адаптации сложных текстов – например, художественной или научной литературы. Это поможет глухим людям в учебе.

«Программа будет помогать в изучении новых жестов. В повседневном общении человек использует лишь ограниченный набор и поэтому может не знать каких-то слов. Мы загрузим в приложение обширный словарь, который будет включать и специальную терминологию. Просматривая жестовый перевод, люди с нарушениями слуха смогут изучать новые слова», – поясняется в сообщении.

Источник: РИА ТОМСК