uk

Учень з Донеччини розробив словник для вивчення жестової мови

Десятикласник Покровської школи №9 Микита Теличко родом із Донецька. Після окупації міста його родина переїхала до Вугледара. Нині вони — у Великій Британії. 

Інтерактивний словник з використанням комп’ютерного зору і відкритих баз Микита створив до конкурсу Малої академії наук України.

Торік у фінальному етапі Всеукраїнського конкурсу молодіжних науково-технічних проєктів “InventorUA” він виборов перше місце в номінації “Стійкий життєвий простір”.

Ще з дитинства Микита захоплювався робототехнікою та айті-технологіями. Зробити корисний девайс для вивчення жестової мови його надихнув молодший брат, який має порушення слуху. Почав свій проєкт ще торік у вересні, нині працює над його вдосконаленням. 

«Мій молодший брат Макар, якому 12 років, має особливості — він не чує дуже високих частот і тому використовує слухові апарати. Я подумав: як можна допомогти таким людям, як Макар. Проаналізував і зрозумів, що дуже складно вивчати жестові мови», — розказує Микита. 

Як пояснив винахідник, коли він заглибився в тему, з’ясував, що жестових мов багато. Він використав для власної розробки американську. Аргументував це тим, що вона найбільш поширена. Саме її тестував і брат Макар.

«Які на сьогодні є можливості вивчити жестову мову? Ти заходиш на сайт, пишеш слово та  знаходиш відео з демонстрацією того, як це  слово показати. І ти, намагаєшся його відтворити, але ніякого зворотного зв’язку не отримуєш. Тобто ти просто намагаєшся повторити, але не розумієш, чи правильно показуєш. Мій проєкт допомагає саме перевірити, чи зможуть тебе зрозуміти, чи правильно ти показуєш. А ще мову жестів таким способом швидше вивчити, бо коли ти сам показуєш, то краще запам’ятовуєш», — пояснює Микита Теличко.

У роботі над проєктом Микиті допомогали наукові керівники – Дар’я Литвин, учителька інформатики Покровської школи №9, та Гліб Ступак, старший викладач кафедри автоматики і телекомунікацій Донецького національного технічного університету.

Ключовими компонентами рішення в його проєкті є використання Python та MediaPipe для розпізнавання жестів, інтеграція бази даних WLASL та розробка інтуїтивного користувацького інтерфейсу. Прототип словника має систему розпізнавання жестів через вебкамеру, функцію порівняння з еталонними зразками та візуальне відображення схожості виконаного жесту з еталонним.

«Микита зробив це таким чином, щоб за допомогою штучного інтелекту розпізнавати рухи — камера зчитує рухи, співставляє з оригінальним зображенням та виводить на екран кількість відсотків співпадіння. 100% — це ідеальний збіг, 90-95% — вже молодець. Якщо ж показує 20-30% — треба повторювати, щоб підвищити свій рівень», — розповіла Дар’я Литвин. 

Математичну модель, яка вимірює відстань між фалангами пальців і не залежить від відстані до екрана — розробляв він сам.

Винахід юнака протестували в Асоціації глухих в одному з міст Великої Британії та запропонували додати  у розробку більше мов. 

За словами Дар’ї Литвин, Микиту Теличка запросили в національну збірну представляти Україну на міжнародних конкурсах. «Це вже стартап, там є, що доробляти, але великий обсяг роботи зроблений і він вже запланував, що вдосконалюватиме. Тільки-но з’явиться якась міжнародна виставка або конкурс і Микитин проєкт підпадатиме під цю категорію — хлопець буде брати участь. Він наразі готує всю специфікацію, технічну документацію англійською мовою, він дуже добре володіє нею», — розповіла педагогиня.

В планах  Микити – удосконалення алгоритму перевірки жестів та переробка інтерфейсу. “Наразі він доступний лише в одному екземплярі — у мене на комп’ютері. Я хочу зробити так, щоб отримати доступ міг будь-хто в інтернеті, просто як зайти на вебсайт», — додав Микита.

Своє майбутнє Микита  хоче пов’язати з технологіями та з вивченням штучного інтелекту.

За матеріалами Суспільне Донбас та https://blog.sikorskychallenge.com/

Читайте також: