Mi az a Tolmácskesztyű?
A Kutatók Éjszakáján mutatkozik be az MTA SZTAKI új fejlesztése, a Tolmácskesztyű. Az eszköz segítségével a jelnyelvet beszélők könnyen megértethetik magukat azokkal, akik nem tudnak jelelni.
2014. szeptember 26-án a Kutatók Éjszakáján a nagyközönségnek is bemutatkozik a Tolmácskesztyű, az MTA Számítástechnikai és Automatizálási Kutatóintézetének (SZTAKI) új fejlesztése. Az intelligens kesztyűt fölhúzva a jelnyelvet beszélők egy okostelefonos alkalmazás segítségével meg tudják értetni magukat azokkal, akik nem ismerik a jelnyelvet. A kesztyű által érzékelt mozdulatokat a szoftver betűkké, majd egy beszédszintetizátor hangokká, szavakká, mondatokká alakítja.
Az MTA SZTAKI-ban 2012 szeptembere óta zajló fejlesztés mottója Helen Keller, a siket és vak írónő egyik mondata: „A vakság a dolgoktól választ el, a siketség az emberektől”. A projektről a következőket olvashatjuk az intézet honlapján: „A Tolmácskesztyű rendszer jelnyelvi szinkrontolmácsként működik, segítségével a beszéd- és halláskárosult emberek az általuk ismert és mindennap használt jelnyelven kommunikálhatnak ép embertársaikkal, akik a jelelt szöveget automatikusan felolvasva hallják. Ez a megoldás a jövőben jelentősen megkönnyíti a siketek kommunikációját.”
A Tolmácskesztyűre valóban sok helyzetben szükség lehet: a hétköznapokban vásárláskor, banki ügyintézéskor vagy a munkahelyen, de akár egy állásinterjún is. A hangzó nyelvet beszélők ugyanis nagyon kevesen beszélik a jelnyelvet, ami megnehezíti számukra azt, hogy a siketek kommunikációját megértsék. (Fordítva kevesebb a gond: a siketek általában nagyon jól tudnak szájról olvasni.) Az alábbi videóban megnézhetjük, hogyan is működik a Tolmácskesztyű:
Hogy működik a Tolmácskesztyű? Erről a következőket tudhatjuk meg a SZTAKI honlapjáról: „A projekt során egy összetett hardver- és szoftverrendszert fejlesztünk ki. A kéz gesztusainak érzékeléséhez szükséges szenzorokat, elektronikát és kommunikációs hardvert egy kellemesen ergonomikus, a kézmozgást nem akadályozó kesztyűbe építettük be. Segítségével a felhasználók a szabványos Daktil gesztusábécé jeleit, valamint egyénileg betanított, saját kifejezésekhez – akár egész mondatokhoz – rendelt gesztusokat mutathatnak, melyeket a rendszer felismer. Ezen komplex számítási feladatok elvégzéséért a felhasználó mobiltelefonja felelős: a telefonon futó alkalmazás a mutatott gesztusok sorozatából először betűket, majd azok természetes nyelvi feldolgozása során szavakat, végül pedig értelmes szöveget állít elő, melyet a beszédszintetizátor hangosan felolvas.”
(Forrás: kutatokejszakaja.hu)
Bővebb információ
A siketek nem mindegyike olvas jól szájról, de a helyzet és a testbeszéd sokat elárul a beszélgetőtárs mondanivalójáról. DE már a másik irányon is dolgoznak, a gépi szájról olvasás már jobb, mint az emberi, a mondanivaló 80%-át képes megfejteni.
@sityu: Csak az a gond, hogy ezt már meg is csinálták: www.motionsavvy.com/
Mindenesetre ez a kesztyűs is szép munka, de ha én rászorulnék, asszem inkább a kesztyű nélküli megoldást preferálnám.
www.leapmotion.com/
Ezzel meg a nehézkes kesztyű is kiküszöbölhető volna.