Создана умная перчатка, способная интерпретировать язык глухонемых

Создана недорогая перчатка, преобразующая язык жестов в текст

Инженеры из Калифорнийского университета в Сан-Диего разработали умную перчатку, которая способна преобразовать алфавит американского языка жестов в текст, а также контролировать кисти виртуальных персонажей. Устройство было названо «The Language of Glove», а производство его стоит смешных денег – всего 100 долларов. Большая часть деталей за копейки приобретается в любом магазине электроники.

Помимо способности преобразовывать жесты в буквы, исследователи наделили свой гаджет поддержкой различных приложений для виртуальной и дополненной реальности. При помощи такого устройства можно дистанционно управлять манипуляторами в форме человеческих рук, а также производить множество других весьма полезных действий. Ранее несколько команд исследователей уже представляли миру подобные проекты. Уникальность конкретно этой перчатки заключается в её бюджетности и в том, что её сенсоры изготовлены из растягивающихся материалов. Эта разработка может подтолкнуть других разработчиков к созданию подобных устройств с новыми, ещё более впечатляющими возможностями.

Растягивающиеся сенсоры меняют своё сопротивление, когда их сгибают или растягивают. Расслабленная кисть сопоставляется системой со значением «0», а сжатый кулак – с «1». Когда дело доходит до декодирования алфавита американского языка жестов, исследователям пришлось создать бинарный код на основе количества отслеживаемых суставов кисти. Например, если речь идёт о букве «А» — большой палец выпрямлен, а все остальные сжаты – код будет «011111111», а буква «B» — когда большой палец согнут, а все остальные выпрямлены, код будет уже «100000000». В перчатку пришлось добавить также акселерометр и сенсор давления, чтобы отличать буквы вроде «I» и «J» — у них разные жесты, но одинаковый код.

В данный момент команда работает над следующей версией своей перчатки. По заверениям разработчиков, она позволит ощущать прикосновения к виртуальным объектам во время VR-игр или управления роботизированными манипуляторами со встроенными датчиками давления, отправляющими обратно сигналы о соприкосновении. В будущем перчатку также можно снабдить голосовым синтезатором, чтобы язык жестов озвучивался через встроенные динамики или смартфон. Вся информация об устройстве была опубликована в журнале PLOS ONE.

Перчатки SignAloud: перевод жестов в слова

Наверняка каждый из нас был бы рад знать как можно больше иностранных языков. Помимо обучающей литературы, онлайн курсов и уроков, существует достаточно много технологий, устройств и приложений, которые этому всячески способствуют. Большинство разработок направлено на изучение устной речи и грамматики, в то время, как в мире живут миллионы людей, что используют для повседневного общения язык жестов. И вот овладеть таким языком бывает гораздо сложнее, чем иностранным.

Впрочем, такой дисбаланс обычно предшествует прогрессу. Столь многогранная ниша не могла долго оставаться свободной. И занять ее решили двое студентов Вашингтонского университета — Томас Прайор (Thomas Pryor) и Навид Азоди (Navid Azodi). Они придумали способ, делающий язык жестов более доступным для понимания другими. Юные изобретатели разработали систему, обеспечивающую возможность переводить «жестовую» речь в обычную устную.

Ребята создали продвинутые технологические перчатки SignAloud, состоящие из различных датчиков, отслеживающих малейшие движения пальцев, запястья и рук, имеющие беспроводной интерфейс Bluetooth для передачи собранных данных на ПК и специального программного обеспечения. Перчатки способны улавливать малейшие движения рук пользователя, считывать в движениях знаки языка жестов и после расшифровки полученных данных, преобразовывать их в устную речь посредством специального синтезатора.

Конечно же, устройство может быть эффективно использовано и когда нет возможности услышать полученный перевод – знаки языка жестов конвертируются в письменный текст. По Bluetooth перчатки пересылают информацию о жестах к центральному компьютеру, где с помощью статистической обработки данных решается, какое именно слово было «произнесено» в жесте. Анализ данных производится на основе обработки последовательной статистической регрессии.

ИТ-сообщество приняло создателей SignAloud, как настоящих технологических гениев. Перчатки были изобретены в рамках конкурса Lemelson-MIT Student Prize (2016 год) и конечно же принесли победу своим авторам. В результате ребята получили грант в размере $10 000 на дальнейшее продолжение усовершенствование и производства продукта.

Навид Азоди акцентирует внимание на том, что на данный момент в мире живет около 70 миллионов глухонемых людей, ежедневно использующих язык жестов. А ведь это многочисленная группа (к слову сказать, превышающая население Франции), которая рассеяна между людьми без подобных функциональных ограничений. И вопрос их постоянной коммуникации с остальными, является более чем актуальным, что, в свою очередь, ставит перед устройством дополнительные требования. Перчатки должны быть еще более комфортные, компактные и приспособленные к различным условиям эксплуатации.

Насчет внедрения устройства в повседневную жизнь Томас Прайор отмечает следующее:

Наши перчатки легкие, компактные и вполне эргономичные, чтобы их использовали как ежедневный аксессуар, подобно тому как используют слуховой аппарат или контактные линзы.

Конечно, на рынке существуют и другие устройства для перевода языка жестов, но действительно практичные продукты – большая редкость. Успех SignAloud заключается в легком и незамедлительном переводе языка жестов в устную речь. Сами перчатки не громоздкие, техническое устройство тоже не большое. Правда внешний вид SignAloud может показаться несколько несуразным (если только Вы не в костюме супергероя), но разработчики уже начали работать над более повседневным и приятным дизайном.

Перевод языка жестов – это само по себе впечатляющее достижение. Но создатели SignAloud не останавливаются на достигнутом. Они считают, что данная технология будет использоваться для успешных разработок в широком спектре других задач. Будет ли это медицинская сфера или виртуальная реальность — не известно. Но Прайор и Азоди надеются решительно изменить мир к лучшему.

На видео представлена работа демо-версии перчаток в исполнении их создателей.

На данный момент разработка существует только в виде прототипа и когда перчатки поступят в продажу остается загадкой. Кроме того перевод осуществляется пока только на английский язык.
Вот что говорит по-этому поводу Навид Азоди:

Имейте в виду, мы не зафиксировали все языки. До этого еще далеко. Английский язык — это нечто большее, чем простой набор слов или определенных фраз. И мы это прекрасно понимаем. Язык наполнен различными сложными грамматическими структурами. Чего хочется добиться в конечном результате? Дать возможность перчаткам SignAloud распознавать и обрабатывать большую часть языка жестов.

Друзья изобрели свои перчатки на территории студенческого кампуса, где они сейчас проживают. А работают юные дарования в общине для студентов-разработчиков CoMotion.

3D-печатаемый робот-манипулятор интерпретирует язык жестов

Команда из Антверпенского университета разрабатывает роботизированный интерпретатор жестового языка. Первая версия руки робота, названная Project Aslan, создана при помощи трехмерной печати и может передавать текст пальцами, но конечной целью команды является создание двухрукого робота с выразительным лицом, чтобы передать всю сложность языка знаков.

Проект Aslan

Был предпринят ряд технологических попыток преодолеть разрыв между слышащими и неслышащими сообществами, в том числе умными перчатками и планшетными устройствами, которые переводят жесты в текст или аудио и даже был полноразмерный робот от Toshiba.

Проект Aslan (который обозначает «Actuating Node» для языка жестов Антверпена) предназначен для перевода текста или произнесенных слов в язык жестов. В его нынешнем виде рычаг Aslan подключен к компьютеру, который, в свою очередь, подключен к сети. Пользователи могут подключаться к локальной сети и отправлять текстовые сообщения в Aslan, и рука начнет отвечать. В настоящее время он использует систему алфавита под названием fingerpelling, где каждая отдельная буква сообщается через отдельный жест.

Строение руки

Рука робота состоит из 25 пластиковых деталей, трехмерных изображений с настольного принтера начального уровня, плюс 16 сервомоторов, трех контроллеров двигателей, микрокомпьютера Arduino Due и нескольких других электронных компонентов. По сообщениям, сборка пластиковых деталей занимает около 139 часов, а окончательная сборка робота занимает еще 10.

Производство обрабатывается через глобальную сеть 3D-печати под названием 3D-концентраторы, которая предназначена для обеспечения возможности создания робота в любом месте. Однако этот подход не заменяет человеческих интерпретаторов: вместо этого команда видит в нем возможность помочь людям с нарушениями слуха в ситуациях, когда человеческая помощь недоступна.

«Неслышащий человек, который должен появиться в суде, неслышащий человек после урока в классе где-то, – говорит Эрвин Смет, учитель робототехники в Антверпенском университете. – Это все обстоятельства, когда неслышащий человек нуждается в переводчике на языке жестов, но там, где часто такой переводчик недоступен, вот почему недорогой вариант, такой как Аслан, может предложить решение».

В то время как текущая версия может только перевести текст в указатели пальцев, команда работает над углублением системы для будущих версий, чтобы передавать более тонкие идеи. В языке жестов смысл передается с помощью комбинации жестов рук, позы тела и выражений лица, поэтому исследователи разрабатывают установку с двумя руками, и есть планы добавить выразительное лицо к системе.

Команда также экспериментирует с переводом устных слов на язык жестов и с помощью веб-камеры для обнаружения выражений лица и обучения роботам новых жестов, которые в настоящее время выполняются с помощью электронной перчатки. Проверьте проект Aslan в действии в видео по ссылке



Робот-сурдопереводчик, слуховой аппарат-телепат, умные перчатки: 8 технологий для людей с нарушением слуха

Многие ИТ-компании занимаются созданием продуктов для улучшения качества жизни глухих и слабослышащих людей. Издание Digital Trends опубликовало подборку подобных стартапов, успех которых способен помочь многим людям, испытывающих сложности со слухом.

Проект Aslan

Исследователи-робототехники из Антверпенского университета в Бельгии разработали печатаемую на 3D-принтере руку, которая переводит устную и письменную речь на язык жестов. Устройство со встроенной веб-камерой распознаёт слова и сообщает их пользователю уже с помощью дактилологической азбуки, в которой каждой букве соответствует свой жест.

По словам создателей роботизированной руки, она не займёт много места и поместится в обычный рюкзак. Разработка ещё не доступна широкому кругу пользователей, но в будущем её можно будет распечатать всего за несколько сотен долларов.

Камера, выполняющая перевод с и на язык жестов

Чтобы состоялась полноценная коммуникация между людьми, которые могут общаться только на языке жестов, и теми, кто ручной азбукой не владеет, робот должен уметь переводить жесты в речь или текст и наоборот — в режиме реального времени.

Такую цель поставили разработчики стартапа из Далласа KinTrans. Робот, оснащённый 3D-камерой и микрофоном, распознаёт сказанное и показанное собеседниками, после чего быстро и точно переводит на противоположный язык. По словам авторов, система поддерживает несколько языков и уже способна распознавать тысячи слов, показанных жестами, с точностью до 98 процентов.

Умные перчатки

Исследователи Калифорнийского университета в Сан-Диего изобрели недорогие умные перчатки, не использующие дополнительных камер. Перчатки автоматически переводят американский язык жестов в текст в цифровом виде, который отображается на экране подключённого компьютера или смартфона.

Владелец перчатки просто изображает те или иные символы ручного алфавита, которые она распознаёт, считывая колебания электрического сопротивления. Как и в первом проекте, преимуществом этой разработки является невысокая стоимость: в сумме затраты на все её элементы составят менее $100, а при массовом производстве эта цифра снизится ещё больше.

Инновационная технология транскрибирования

Благодаря прогрессу в распознавании речи, с каждым годом совершенствуется технология перевода устной речи в письменную. Однако в ситуациях, когда в помещении одновременно разговаривает несколько человек, использовать её становится проблематично.

Предприниматели из Нидерландов запустили проект под названием SpeakSee на сайте Indiegogo. С помощью прикрепляемого к одежде микрофона и специальной технологии они выделяют речь конкретного человека из общего потока и приглушают любой фоновый шум. Далее создаётся расшифровка разговора, в которой реплики каждого из ораторов записаны определённым цветом. Расшифровку можно читать на смартфоне или планшете.

Слуховой аппарат-телепат

В Колумбийской школе инженерных и прикладных наук работают над «когнитивным слуховым аппаратом», который также будет полезен в переполненных комнатах. Устройство считывает ритмы мозговой активности своего владельца, после чего нейросеть определяет, на ком из говорящих он пытается сконцентрироваться. Нужный голос система делает более выразительным, приуменьшая громкость всех остальных. Пока что создатели слухового аппарата проводят испытания, и в случае успеха он сможет изменить к лучшему жизни многих людей.

Слуховой аппарат на солнечных батареях

В мире насчитывается около 400 млн людей с различными отклонениями слуха. Более половины из них проживает в странах с низким уровнем дохода, и многие просто не могут позволить себе слуховые аппараты или даже питающие их аккумуляторы.

Бразильский стартап Solar Ear создаёт слуховой аппарат, работающий на солнечной энергии. Заряда его батарей должно хватать на 2-3 года, тогда как обычные батареи держатся всего 7-10 дней. Несмотря на это, устройство отличается низкой стоимостью.

Слуховой аппарат-переводчик

Главное назначение традиционных слуховых аппаратов — направлять звук в ухо слабослышащего владельца. Сегодня появляются ещё более функциональные устройства, которые способны выполнять некоторые вычисления и почти моментально осуществлять машинный перевод между парами естественных языков. Демо-версии таких гарнитур уже представили стартапы Waverly Labs и Lingmo International.

Слуховой «жилет», передающий импульсы на кожу

Нейробиологи из Бэйлорского медицинского колледжа в Хьюстоне (Техас) разрабатывают жилет, который позволит глухим людям «слышать» через кожу. Устройство собирает поступающий на него звук с помощью смартфона пользователя и преобразует в вибрации, которые человек ощущает на коже. Со временем учёные надеются найти способ обучить владельцев жилета интерпретировать эти сигналы аналогично тому, как люди с нарушением зрения считывают рельефный шрифт Брайля. Для реализации проекта они запустили кампанию на Kickstarter.

Источники:
http://habr.com/post/369355/
http://robroy.ru/3d-pechataemyij-robot-manipulyator-interpretiruet-yazyik.html
http://dev.by/news/robot-surdoperevodchik-sluhovoy-apparat-telepat-umnye-perchatki-8-tehnologiy-dlya-lyudey-s-narusheniem-sluha
http://forevernews.ru/ymnye-ochki-ot-google-pomogyt-detiam-bolnym-aytizmom/

Ссылка на основную публикацию