В их оправу встроены два крошечных эхолокатора, которые передают полученные о движениях кожи данные нейросети.
“Множество отраженных звуковых сигналов образуют профиль эха – последовательность изменяющихся во времени кадров, которая содержит информацию о расстоянии до окружающих поверхностей, от которых отражается звук. Из этих данных отфильтровываются шумы и паразитные сигналы от фоновых объектов окружения, находящихся на удалении, чтобы выделить информацию, относящаяся только к лицу пользователя.
После этого данные подаются на вход остаточной сверточной нейросети ResNet-18, предназначенной для классификации изображений, а затем в полносвязный декодер, на выходе которого получают набор меток, соответствующий словам из набора команд, использованных в процессе обучения.
Для демонстрации возможностей создатели технологии выбрали 32 слова, соответствующие наиболее распространенным командам управления приложениями на смартфоне, а также слова, обозначающие десять цифр.”
источник: nplus1.ru
Уровень точности – 95%, а использовать такие очки смогут не только люди с нарушениями речи, но и те, кому часто приходится общаться в шумных условиях.