В России создано устройство, переводящее жестовый язык в текст

Теплица социальных технологий рада представить проект uSEEband – победителя Хакатона равных возможностей 2016.

Надетый на руку браслет uSEEband переводит систему жестов дактильного алфавита в текст и отображает его на смартфоне или планшете в режиме реального времени. Устройство, разработанное при участии Теплицы социальных технологий, рассчитано на людей с инвалидностью по слуху и зрению и обеспечивает возможность свободно общаться с теми, кто не знает жестовый язык, – пишет сайт РООИ «Перспектива».

Устройство крепится на внутренней стороне ладони и с помощью встроенных сенсоров распознает жесты – 32 буквы дактильного алфавита. Полученные данные обрабатываются программной нейросетью и выводятся на смартфон в виде слов и предложений. Браслет- переводчик может работать до 12 часов без подзарядки, оснащен Bluetooth-модулем для связи с приложением на базе Android.


Прототип браслета uSEEband стал победителем II хакатона «Технологии равных возможностей», организованного Теплицей социальных технологий и Институтом ЮНЕСКО по информационным технологиям в образовании. Команда проекта прошла акселерацию и стала резидентом программы «Технологии возможностей 2.0» в 2016 году, в рамках которой доработала устройство и подготовила его к выпуску в преддверие Международного дня глухих (25 сентября).

В разработке устройства приняли участие: руководитель проекта Иван Бородин, маркетолог Булат Айтбаев, инженер-разработчик Андрей Павлов, инженер-программист Артем Ярыгин, инженер-разработчик, ответственный̆ за дизайн продукта, Сергей Лончаков.


«Разработка изначально задумывалась только как ассистивное устройство для неслышащих и незрячих людей – с инвалидностью одновременно по слуху и зрению. Однако позднее команда проекта увидела больший потенциал своей разработки. Неслышащие, и особенно неслышащие и незрячие, имеют определенные трудности во взаимодействии с окружающими людьми. Но иногда эти ограничения вызваны не физиологией человека, а искусственно созданной жизненной ситуацией. Именно поэтому миссия нашего проекта – расширить коммуникационные возможности человека в условиях каких-либо ограничений», – рассказывает Иван Бородин, руководитель проекта uSEEband.

​Демо работающего приложения можно видеть на видео.