Vedci z Cornellovej univerzity vyvinuli špeciálnu pomôcku pre nepočujúcich, ktorá im môže zásadným spôsobom pomôcť prekonávať komunikačné bariéry. Posunkovú reč, ktorú nepočujúci používajú, ovláda len zlomok ľudí z väčšinovej populácie. Malý prsteň SpellRing to však môže zmeniť. Vvyužíva totiž kombináciu umelej inteligencie a mikro-sonarovej technológie na sledovanie prstového hláskovania v americkom posunkovom jazyku (ASL) v reálnom čase.
SpellRing je ľahký a nenápadný prsteň, ktorý sa nosí na palci. Na rozdiel od iných existujúcich riešení, ktoré sú často objemné a nepraktické, je SpellRing kompaktný a pohodlný na nosenie. Je vybavený technológiou, ktorá pomocou mikrofónu a reproduktoru sleduje analyzuje pohyb rúk. Ako je to možné? Prsteň cez miniatúrny reproduktor vysiela nepočuteľné zvukové vlny pomocou. Keď sa prsty hýbu, tieto vlny sa od nich odrážajú a menia svoju dráhu. Mikrofón v prsteni následne tieto odrazené vlny zachytáva a analyzuje, ako sa zmenili. Tento proces je podobný sonarovým systémom, ktoré sa používajú na detekciu objektov pod vodou – v tomto prípade však slúži na mapovanie jemných pohybov prstov pri hláskovaní slov.
Dáta zo sonarového systému sú následne odoslané do počítača alebo smartfónu, kde ich spracováva špeciálne trénovaná umelá inteligencia. Jej algoritmus prevádza zmeny v odrazených zvukových vlnách na konkrétne písmená a slová v reálnom čase. Okrem toho prsteň disponuje gyroskopom, ktorý sleduje celkový pohyb ruky, čím pomáha zvýšiť presnosť rozpoznávania.
Ako presný je SpellRing?
Vedci testovali zariadenie na 20 dobrovoľníkoch, ktorí vyhláskovali viac ako 20 000 slov. Výsledky ukázali, že SpellRing dokáže rozpoznať jednotlivé písmená s presnosťou 82 – 92 % v závislosti od zložitosti slova.
Jednou z najväčších výziev pri vývoji bolo zlepšiť detekciu pri rôznej interpretácii písmen, nakoľko ľudia majú tendenciu si posunkovú reč v záujme plynulosti mierne upravovať. Algoritmus preto musel byť trénovaný tak, aby dokázal správne rozpoznať aj tieto prirodzené variácie.
Aj keď je SpellRing prelomový v tom, že dokáže previesť prstové hláskovanie na text, americký posunkový jazyk nie je len o prstoch. Veľkú úlohu v ňom zohrávajú aj výrazy tváre, pohyby tela a hlavy, ktoré sú dôležitým doplnkovým prvkom pre vyjadrenie gramatiky a významu viet.
Vedci preto už teraz pracujú na ďalšej generácii zariadenia, ktoré by mohlo obsahovať aj inteligentné okuliare vybavené sonarovým systémom. Tieto okuliare by dokázali sledovať aj pohyby hornej časti tela a mimiku, čím by umožnili kompletný preklad posunkového jazyka.