«Умные» очки научились показывать субтитры (видео)

Инженеры американской корпорации Google разработали прототип «умных» очков для людей с нарушениями слуха: работая в тандеме со смартфоном, они распознают речь и звуки, превращая их в субтитры.


Google придумала, как переводить речь в текст и транслировать его прямо на линзы очков

Функция распознавания речи в современных смартфонах позволяет людям с нарушениями слуха сделать взаимодействие с окружающим миром более комфортным, однако подобная модель общения будет работать только в том случае, если оба человека находятся в поле зрительного контакта, хотя существенная часть повседневных коммуникаций работает иначе. Потенциальным способом решения проблемы может быть, опять же, смартфон, но работающий в паре с другим гаджетом.

Чтобы каждый раз не доставать смартфон из кармана, можно воспользоваться, к примеру, «умными» очками, но Google Glass работает в активном режиме с включенным экраном всего два часа. Разработчики из Google придумали, как объединить очки и смартфон в единый девайс для удобной расшифровки речи и звуков в повседневном режиме: на сей раз за основу были взяты уже не Google Glass, а проекционная система собственной разработки, которую можно встраивать в обычные очки.

Для экономии энергии, уменьшения размеров и массы устройства проектор встроен только в правую дужку очков: в ней также расположена плата управления и небольшой аккумулятор, а основная батарея встроена в левую дужку. Масса очков составляет 54 грамма, для работы они связываются со смартфоном, который расшифровывает речь и бытовые звуки, передавая в реальном времени текст на очки через Bluetooth — он проецируется прямо на линзу.

Разработчики провели исследование на добровольцах, сравнив распознавание речи при помощи только смартфона с новым методом. Во всех ситуациях удобство и осведомлённость пользователя об окружающих звуках были заметно выше при использовании «умных» очков с субтитрами. Поскольку за распознавание отвечает смартфон, одной зарядки аккумулятора очков хватает на 15 часов непрерывной работы. Разработка была представлена на конференции UIST 2020.