A semmitől az avatarokig
A beszélt nyelvek többsége mára már használ valamilyen írásrendszert. De vajon miként rögzíthetők-e írásban a jelnyelvi jelek? És mit is írunk le, amikor jelnyelvi jeleket próbálunk karakterekkel rögzíteni: a jelentéses egységeket vagy a jeleket alkotó apró elemeket? És hogy kerülnek a képbe a jelelő avatarok?
Az írás fontos szelete az emberi nyelvhasználatnak, mára már széles rétegek által használt kommunikációs forma, egyben különféle információk archiválásának eszköze is. A beszélt nyelvek többsége mára már rendelkezik egy írott nyelvi formával is, azaz használ valamilyen írásrendszert: fogalomjelölőt, szótagjelölőt vagy hangjelölőt. De vajon le lehet-e írni mindazt, amit jelnyelven fejez ki valaki?
Ez a kérdés az 1960-tól datálható modern jelnyelvkutatással párhuzamosan komoly fejtörést okozott a nyelvészeknek is, ezzel párhuzamosan a siketek részéről is volt egyfajta álomkép arról, hogy egyszer talán jelnyelven is lehet majd például levelezni. Sokféle kezdeményezésre bukkanhatunk, ha kicsit beleássuk magunkat ebbe a témába. Rögtön az elején érdemes azonban szétválasztanunk, hogy mit is írunk le, amikor jelnyelvi jeleket próbálunk karakterekkel rögzíteni: (1.) A jelentéses egységeket valamiféle fogalomjelölő rendszerrel? (2.) Vagy a jeleket alkotó apró, önálló jelentéssel nem rendelkező elemeket, nagyjából egy hangjelölő rendszer logikáját követve? – Mindkettőnek megvan a maga előnye és hátránya, és talán nem meglepő, hogy mindkettőre találunk példákat.
Ugyanakkor azt is gondolhatnánk, hogy a mai képrögzítési technika szintjén vajon minek vesződni különleges karakterekkel, a bonyolult kézmozdulatok és árnyalt arckifejezések egységének papírra vetésével vagy számítógép monitorára való legépelésével. A filmezés néhány szempontból valóban nagyon praktikus, és ma már könnyen hozzáférhető segédeszköz, de nem használható fel minden igény kielégítésére. Szükséges egy olyan rendszer, amelynek segítségével megörökíthetők a jelek, mely minden nyelvi szinten lehetővé teszi az elemzést, mely alkalmas későbbi elemzésre, összevetésre, s nem utolsósorban a számítógépes adatfeldolgozást is lehetővé teszi.
Minden jelnyelvi lejegyzési rendszer, más néven notáció eredetileg valamilyen kutatási célból jött létre, tulajdonképpen az adatoknak valamilyen előzetes elemzése, tehát legtöbbjük nem „jelnyelv-semleges”, illetve nem elég átfogó. Némely rendszer speciálisan egy jelnyelvre alkalmazható, más rendszerek egyféle mozdulattípus leírására alkalmasak, megint mások csak a jelnyelv bizonyos aspektusait írják le. Szerencsére ez alól is van kivétel, így például a Sutton-féle SignWriting, a Hamburg Notation System, illetve a Berkeley Transcription System alkotói is arra törekednek, hogy bármely jelnyelvre alkalmazható rendszert alkossanak. Emiatt most ezekről lesz szó kicsit részletesebben.
Amikor a jelentés számít
A California Egyetem munkatársai célul tűzték ki, hogy kidolgoznak a jelnyelvekre egy olyan lejegyzési rendszert, amivel az egyes jelek egymáshoz való viszonyát, azok sorrendjét tudják megjeleníteni. Egyúttal arra is figyelmet fordítottak, hogy ez a megoldás összekapcsolható legyen különféle korábbi pszicholingvisztikai kutatásoknál alkalmazott lejegyzési módszerekkel – tehát például meg lehessen figyelni, hogy milyen mondatszerkezeteket használ egy hangzó nyelvet elsajátító 2 éves gyerek és milyen szerkezeteket hoz létre egy jelnyelvet elsajátító 2 éves. Nem az számít tehát, hogy a kezek milyen formát öltenek, vagy milyen mozgást végeznek, csupán az adott elem jelentése, és az egyes jelek esetleges belső szerkezete, illetve képes rögzíteni a mimikai jelzéseket is. Mindezt kizárólag az ASCII karakterkészlet felhasználásával, ami jelentős könnyebbségnek számított még pár évtizeddel ezelőtt a mainál problémásabb számítógépes adatátvitel korában. Így jött létre a Berkeley Transcription System (BTS) néven ismert rendszer.
A legfontosabb és némiképp talán meglepő jellemzője, hogy minden jelnyelvi elemet valamely hangzó nyelv írott változatával jelenítünk meg (magyarul, angolul, németül, finnül). A jelelésben tapasztalható jelenségekre, a jelnyelvi grammatika összes ismert jegyére kitaláltak valamilyen „tipográfiai trükköt”. Előnyének tekinthetjük, hogy mindig az átírás célja határozza meg, hogy mennyire legyünk, mennyire lehetünk „finomak” vagy „durvák”; viszonylag könnyen kezelhető; viszonylag könnyen „visszaolvasható”. Hátránya ezzel szemben, hogy nagyon finom átírást nehéz megvalósítani; ha pedig jelelő személy (akinek a megnyilatkozását épp át szeretnénk írni) nem a sztenderd jeleket használja, nehéz jelezni – ez már zavarossá teheti a lejegyzést. Az alábbiakban a legfontosabb elemeket mutatjuk be.
A jeleket csupa nyomtatott nagybetűvel írjuk, mindig a szótári formát használva (főnév: egyes szám alany eset, ige: E/3, jelen idő stb.):
JELEL ’jelel’
BUSZ ’busz’
ÖREG ’öreg’
(Forrás: Juhász Ferenc – Mongyi Péter – Szabó M. Helga)
Kötőjelesen több szót írunk le, ha magyarul (vagy az adott írott nyelven) egy kifejezéssel nem adható vissza a jelentés:
ÍRÓGÉPPEL-ÍR ’írógéppel ír’
AUTÓT-VEZET ’autót vezet’
(Forrás: Juhász Ferenc – Mongyi Péter – Szabó M. Helga)
Ha a jel alapjelentése módosulva szerepel, akkor azt kis betűkkel kapcsoljuk a szóhoz:
JÁR-bicegve ’bicegve jár’
HÁZ-nagy ’nagy ház’
A jel egyszeri megismétlését x, illetve többszöri ismétlését xx jelöli:
ÓRA x ’pár óra’
ÓRA xx ’órák hosszat’
A daktillal vagy fonomimikával lebetűzött kifejezéseket, neveket mindig kis betűk sorozatával, kötőjellel írjuk:
h-o-f-i g-é-z-a ’Hofi Géza’
A térpontokra való rámutatást az „index” kifejezéssel és a térszelet számával jelezzük. Ha a rámutatás nem G kézformával történik, azt külön jelezzük:
Kati (névjel) index-3 ISMER index-delta-4 ’Kati ismeri őt’
(Itt a „delta” annak a kézformának a közkeletű elnevezése, amikor a széttárt tenyérből előredől a középső ujj.)
A mimikai elemeket apró betűkkel („alsó indexbe”) kiírjuk, majd az egész jelelési részt aláhúzzuk onnan kezdve, ahonnan az adott mimika érvényes:
index-2 RÉSZEG(EN) AUTÓT-VEZET AKAR kérdő és aggódó
’Te részegen akarsz autót vezetni?!’
A jelet követő, kötőjellel kapcsolódó szám arra utal, hogy a jelet az adott térszeletben láttuk megjelenni, illetve a jel mozgása az adott térszelet felé irányul:
HÁZ-4 ’ház [ott]’
UGAT-3 ’ugat [arra]’
Ha mind a jel előtt, mind pedig a jel után szám áll, ez azt fejezi ki, hogy a mozgás iránya az egyik térszelettől a másikig tart, illetve a mozgást nem tartalmazó jel az egyik terület felől a másikra irányul:
1-AD-2 ’én adok neked’
3-NÉZ-2 ’ő néz téged’
4-KÜLD-1 ’ő küld nekem’
(Forrás: Juhász Ferenc – Mongyi Péter – Szabó M. Helga)
Az úgynevezett proformokat a „prof-B-élén”, „prof-A+”stb. rövidítésekkel jegyezhetjük le:
HÁZ ELŐTT TERÜLET-4 AUTÓ pf-B-lefelé xx-4
’A ház előtt rengeteg autó áll egymás mellett.’
A szüneteket / jelzi, a hosszabb szünetet //, jellemzően (tag)mondatok határán fordul elő:
index-B-3 CÉL MI kérdés // HAJÓ ÉPÍT
’A célja az volt, hogy építsen egy hajót’
A szájképet, artikulációt szögletes zárójelben jelezzük, főleg akkor, ha eltér a kezek által jelelt dologtól vagy erősíti annak jelentését (plusz információt ad):
KAPU-NYÍLIK [szájkép: „p-p-p”] ’a kapu lassanként kitárul(t)’
RÁTESZ [szájkép: „könnyebb”] (’könnyebb úgy, hogy ráteszi’
A formai részletek első megjelenítése írásban
A jelek alkotórészeinek, formájának rögzítése gyakorlatilag Stokoe és munkatársai első nyelvészeti szemléletű szótáráig (1965) nyúlik vissza. A jelnyelv lexikális elemeit ugyanis a kínai szótárakhoz hasonlóan nem lehetett hangzó nyelvi ábécé szerint sorrendbe állítani, hiszen a jeleket alkotó komponensek (kézforma, mozgás, orientáció, kivitelezési hely) nem kötődtek egyik írott nyelvhez sem, hanem egy teljesen sajátos rendszert alkottak. Akár szó szerint is érthetően a „legkézenfekvőbb” motívumnak a kézformák szerinti besorolás kínálkozott. Miután Stokoe és munkatársai a felgyűjtött jeleket ilyen alapon megvizsgálták, egyúttal megállapították, milyen kézformák fordulnak elő az amerikai jelnyelvben. Már csak a kézformák elnevezése, jelölése okozott fejtörést a kutatóknak. Azonban a siketoktatásban használt, a hangzó, illetve az írott nyelv elemeinek érzékeltetésére szolgáló ujj-ábécé rendszere megkönnyítette a nyomtatásban is könnyen megjelenthető szimbólumok megalkotását, mivel a feltárt készlet egy része azonosítható volt az ujj-ábécé bizonyos elemeivel (vagy éppen a kézen kifejezett valamelyik számértékkel), más részük pedig – mellékjelek révén – szintén rokonítható volt e készlet egyes tagjaival. Így összesen csupán néhány kézforma elnevezésére kellett sajátos szimbólumokat kitalálni. A szótárkészítők egyébként 19 kézformát (ezeket az ujj-ábécé jeleihez való hasonlóságuk alapján nevezte el), 24 féle mozdulatot és 12 lehetséges helyet különböztettek meg az amerikai jelnyelvben. A mozgásokat és a helyeket könnyen megrajzolható kis ábrákkal jelölték, a rendszer alapja azonban betűkből és számokból áll, emiatt szokták alfanumerikus típusúnak is nevezni.
Stokoe eredeti rendszerét időközben a különböző jelnyelvek kutatói némileg átalakították saját igényeiknek megfelelően (pl. olyan kézformák szimbólumai, amelyek az amerikai jelnyelvben nem használatosak, míg más jelnyelvekben igen), de utólag került bele például a később felfedezett orientáció jelölése is. Azonban az alapelv az összes alfanumerikus rendszerben azonos. Nagy előnye e lejegyzési típusnak, hogy a kézformákra egyáltalán nem, a mozgásokra és a helyekre is csupán alig igényel speciális karaktereket, ezáltal az ASCII karakterekkel is megjeleníthető (némelyik eredetit kreatívan másra cserélve), folyamatos szövegbe könnyen beszúrható szimbólumokat alkalmaz. Visszaolvasása azonban csak akkor lehetséges, ha a befogadó tisztában van a daktil rendszerének legalább az alapjaival, de még inkább az adott készlet minden elemének pontos feloldásával.
Rajzold le a mozgást!
Már a Stokoe-féle rendszert megelőzően, illetve azt követően is használtak, ma is egyre szélesebb körben alkalmaznak különböző jelölésrendszereket a mozdulatok, elsősorban a táncmozdulatok leírására. Talán nem meglepő, hogy több jelnyelvi notációs rendszer is ilyen, a táncmozdulatok leírására kidolgozott rendszereken alapszik – ezek közül a Sutton-féle rendszer futott be jelentősebb karriert jelnyelvi vonatkozásban.
Valerie Sutton, amerikai származású balettművész, saját mozdulatelemző rendszerét Dániában, dán jelnyelvkutatók felkérésére fejleszetette tovább, ez szolgált a későbbi SignWriting rendszer alapjául. Ma az egyik legismertebb jelnyelvi írásrendszer, mely képszerűen rajzolt szimbólumokat használ a jelnyelvek kézformáinak, mozdulatainak és arckifejezéseinek megjelenítésére. A szimbólumok testrészek és mozdulatok ikonikus megjelenítése. A jeleket több különböző szinten lehet átírni: a precíz formai átírástól a „gyorsírásig”.
(Forrás: Juhász Ferenc – Mongyi Péter – Szabó M. Helga)
Megalkotásának elsődleges célja egy olyan írásrendszer létrehozása volt, mely mindennapi használatra alkalmas, melynek segítségével hétköznapi írást (pl. levélírást) jelnyelven is meg lehet valósítani. A rendszer három alapkézformát különböztet meg (zárt ököl, nyitott ököl, lapos tenyér), melyekre épül a többi. Nagy pozitívumának tekinthető, hogy a nem manuális jegyek is jól tükröződnek a szimbólumokban és könnyen megtanulható rendszer. Visszafelé olvasva ebből a legegyszerűbb a jeleket képezni. Létezik szótár is, melyben a SignWriting rendszerrel adják meg a jeleket, de jellemzőbb a htéköznapi felhasználása.
(Forrás: Wikimedia Commons / Icemandeaf)
A fonológiai lejegyzés újragondolása
A HamNoSys rendszer – azaz a Hamburg Sign Language Notation System – a hamburgi egyetem jelnyelvi csoportja által kidolgozott, a formai építőelemeket megragadó átírás (ún. fonetikai transzkripció). Első verziója 1989-ben került forgalomba. Nem hétköznapi használatra fejlesztették ki, mint a SignWriting-ot, hanem kimondottan kutatási célokra.
A HamNoSys egy olyan lejegyzési rendszer, amellyel a legapróbb részletekig képesek vagyunk megadni egy jel formai jellemzőit. Megalkotói célja az volt, hogy a világ összes jelnyelvében létező vagy lehetséges kézformát lajstromba vegyék, s ha véletlenül mégis kimaradna valamelyik, annak a szimbólumát is könnyen meg lehessen szerkeszteni a rendelkezésre álló jelzések és a hozzájuk tartozó kristálytiszta logikai elvek mentén. Mind a kézformák, mind a mozgások, orientációs elemek és artikulációs helyet tekintetében megvannak az alapszimbólumok, amelyek egymással is kombinálódhatnak, illetve mellékjelekkel egészíthetők ki – így lehet pontosítani az adott formai részletet.
(Forrás: DGS Summer School, 2012)
A nyelvészeti leírás precizitása mellett a kutatók számára fontos szempont volt az is, hogy a létrehozott szimbólumok számítógéppel is leírhatók legyenek (például egy tudományos publikációban való alkalmazást lehetővé téve), ezért komoly informatikai munkával megteremtették ennek a rendszernek a klaviatúrakészletét, -programját is, először csak MacIntosh gépekre, később Windows-os PC-kre is. Külön ki kell emelni, hogy mára már több komplex, jelnyelvi lejegyzést segítő szoftver, illetve különféle jelelő avatarprogramok alapjául is a HamNoSys rendszer szolgál.
Jelnyelvi lejegyzés a számítógépek világában
A jelnyelvkutatók régi álma volt, hogy egy videófelvételen rögzített nyelvi közlést minél precizebben és minél hatékonyabban tudjanak lejegyezni. Mindaddig, amig a különféle átírási rendszerek csak manuálisan rögzíthetők voltak, önmagában már az is kegyetlenül nehéz feladatnak bizonyult, hogy egy rövidebb szöveget valaki átkódoljon ilyen szimbólumokba (és lényegében mindegy, hogy melyik rendszert is használta). Különféle szakirodalmi források szerint egy percnyi jelelés átírása egy tapasztalt lejegyzőnek kb. 50-220 percébe kerül (hangzó nyelvi átírásoknál ez az arány kb. 1:100 finom elemzések esetén), hiszen sok különféle szempontra kell párhuzamosan figyelnie: a kézjelek bonyolult szerkezetén túl a mimika, a szájkép felfejtése sem mindig egyszerű. Ha mindehhez még hozzávesszük, hogy egy első, egyszerűbb átírást követően válik szükségessé még valamilyen újabb szempont vizsgálata, akkor lehet az egész munkát lényegében teljesen elölről kezdeni…
Több kutatóközpont foglalkozott ezzel a problémával, elsőként a Hamburgi Jelnyelvkutató Központ munkatársainak sikerült létrehozniuk a SyncWriter nevű számítógépes programot is, amely digitalizált videófelvételek több szintű átírását segítette (HamNoSys, glossza akár két különböző írott nyelven, külön sávokon rögzíthető a mimika, illetve a szájkép). Mára a Syncwriter már megszűnt, felváltotta az iLex (ugyancsak hamburgi fejlesztés). Ezzel párhuzamosan az eredetileg hang- és videófelvételek lejegyzésére szolgáló ELAN szoftver is kiegészült – holland fejlesztők közreműködése révén – olyan elemekkel, amelyek a jelnyelvkutatók számára is alkalmazhatóvá tették a programot. A két program alapvető különbségét abban lehet megragadni, hogy az ELAN csak külön gépeken történő, egyéni feldolgozásra alkalmas, ezzel szemben az iLex szerveren keresztül párhuzamosan akár több kutató is hozzáférhet ugyanazon filmekhez, sőt akár a munkát is megoszthatják egymás között, ki melyik szempont átírásával foglalkozik.
(Forrás: www.sign-lang.uni-hamburg.de)
Ezen túlmenően pedig több nyelvtechnológiai, illetve vizuális feldolgozással foglalkozó kutatóintézmény célul tűzte ki ún. jelelő avatar programok fejlesztését. Az avatar fogalma általános használata szerint olyan figurát takar, aki egy digitális közösségben (pl. egy grafikus játékban) kel életre, illetve egy személy más testet ölt. (A szakszkrit szó eredetileg a buddhizmusban azt jelentette, hogy egy isten emberi alakban megjelenik a földi világban, hogy valamiben tevőlegesen segítsen, valamin változtasson.) A jelnyelvi fejlesztések esetében az avatar inkább egy mesterséges, ám emberi mozgásokat valósághűen felidéző alakot jelent. Ezeknek az alap funkciója, hogy lejegyzési szimbólumokba kódolt jelnyelvi egységeket, szerkezeteket képesek megjeleníteni. Ezeken kívül azonban az avatar alkalmazásoknak az a gyakorlati hasznuk lehet a későbbiekben, hogy a jelnyelvi adatgyűjtést követő felhasználás személyiségi jogi problémáit kiküszöböljék. Hiszen anélkül nem tudok közzétenni egy jelnyelvi felvételt, hogy ne mutatnám meg egy adatközlő arcát is, márpedig ehhez ő lehet, hogy nem járul hozzá, kizárólag csak kutatási felhasználásra kaptam tőle engedélyt, mikor a felvételeket elkészítettem. Ha viszont az eredeti felvételeket áttölthetjük egy avatarprogramba, akkor már „anonimizálható” lesz az eredeti adatközlő.
Így sikerült hát eljutni az elmúlt 3-4 évtizedben a lejegyzési módszerek teljes hiányától a legfrissebb informatikai alkalmazások jelnyelvi adaptációjáig.