Двое старшеклассников из штата Техас разработали ИИ-сервис Hand Wave, который переводит американский язык жестов в режиме реального времени. Для этого система использует умные очки со встроенной камерой и алгоритмы машинного обучения, сообщает El.kz.
Авторами проекта стали Шивен Велагапуди и Аади Сангви. Подростки начали работу не в рамках школьной программы, а пытаясь решить проблему, с которой столкнулись их семьи. Дядя Сангви общается на языке жестов, а отец Велагапуди частично потерял слух. По словам школьников, именно личный опыт подтолкнул их к созданию технологии, которая могла бы облегчить общение между слышащими и людьми с нарушениями слуха.
Hand Wave распознает движения рук через камеру, анализирует положение пальцев и кистей, а затем переводит жесты в текст или речь. Разработчики обучали модель несколько месяцев, постепенно добавляя в систему отдельные буквы, слова и фразы американского жестового языка.
Идея проекта заключается в том, что пользователь в умных очках сможет смотреть на собеседника, использующего язык жестов, а перевод будет появляться практически мгновенно. По словам создателей, человек сможет слышать перевод прямо во время разговора. Сейчас проект находится на стадии разработки. Подростки надеются, что при поддержке инвесторов смогут создать полноценный прототип для тестирования за пределами своей домашней лаборатории.
Разработка школьников вписывается в растущий мировой тренд по созданию ИИ-инструментов для общения с людьми с нарушениями слуха. По данным Всемирной организации здравоохранения, более 430 млн человек в мире нуждаются в реабилитации из-за потери слуха, а к 2050 году их число может превысить 700 млн. При этом универсального жестового языка не существует: в мире используется более 200 национальных жестовых языков. Поэтому технологии вроде Hand Wave требуют отдельного обучения для каждой страны и языкового сообщества.
Подобные проекты разрабатываются уже несколько лет. Например, система SignAll использовала камеры, сенсоры и алгоритмы машинного обучения для перевода жестового языка с учетом мимики и движений тела. А в 2026 году компания Sorenson представила сервис AI Sign Language Translation для коротких повседневных диалогов в магазинах, гостиницах и транспорте.
Эксперты считают, что такие технологии могут упростить участие людей с нарушениями слуха в учебе, работе и повседневной коммуникации. Если перевод станет достаточно быстрым и точным, это позволит снизить барьеры при обучении, собеседованиях и взаимодействии в общественных местах.
Ранее мы писали об ИИ в бизнесе: перспективы и трудности.
