Keressünk terroristákat a Mézga családdal!
Módszertani sorozatunkban ez alkalommal egy olyan témakört mutatunk be, ami nem csak a tudományban, hanem a hétköznapokban is szinte bárhol előkerülhet. De vajon kinek lehet érdeke eltitkolni a tényeket, és miért kell az FBI-nak általános iskolai tanárokat hajkurásznia?
Folytatódik a közelmúltban röviden szünetelő szórakoztató kutatásmódszertani sorozatunk. Ezúttal a hamis pozitív és hamis negatív találatok kérdéskörét járjuk körbe, de szó lesz az egészségügyi szűrővizsgálatokról és a hétvégi nagybevásárlásról is, cikkünk végén pedig eljutunk az amerikai lehallgatóprogramokkal kapcsolatos leleplezésekhez...
(Forrás: Wikimedia Commons)
Kutakodás a zöldségpulton
Nemcsak a tudományos kutatásban, hanem a mindennapi életben is gyakori feladat lehet, hogy találjuk meg egy adott tulajdonság minden előfordulását, és csak azokat. Például ha almát vásárolunk, akkor a romlott almákat szeretnénk elkerülni, a nem romlott almákat pedig szeretnénk a kosarunkba rakni.
(Forrás: Wikimedia Commons)
Ezt a folyamatot a statisztikusok bináris klasszifikációnak vagy bináris osztályozásnak hívják – azért épp ennek, mert minden elemről el kell dönteni, rendelkezik-e a tulajdonsággal vagy nem. Ez két különböző érték (igen/nem), tehát bináris osztályozásról beszélünk.
Hasonló elven működnek az orvosi szűrővizsgálatok: a beteg vagy fogyatékkal élő embereket minél előbb ki kell szűrni, hogy a lehető leggyorsabban a megfelelő kezelésben részesülhessenek. Az viszont senkinek sem érdeke, hogy a többieket feleslegesen orvosi procedúrákkal zaklassák. Hogy a nyelvészet berkein belül maradjunk, tegyük fel, hogy szeretnénk megállapítani, kisgyerekek egy adott csoportja közül ki hallássérült! Ezt nagyon fontos minél előbb megtudni, hiszen az érintett gyerekek nyelvelsajátítása megfelelő nyelvi információk hiányában igencsak károsodhat.
(Forrás: Wikimedia Commons)
Mivel a hallássérülteket keressük, az a negatív eredmény, ha valakiről azt mondjuk, nem hallássérült (tehát nem hordozza a számunkra fontos tulajdonságot), a pozitív eredmény pedig ha valakiről azt mondjuk, hogy hallássérült. Ez eddig nem különösebben meglepő, de most jön a csavar!
Ha becsúszik a hiba
A könnyebb szemléltetés kedvéért a példában a Mézga család gyermekeinek keresztneveit fogjuk használni. Ebben senki se keressen különösebb mögöttes tartalmat!
A mérések sajnos sosem tökéletesek. Mindig akadnak hibák, és a különböző fajta hibák különböző problémákat okozhatnak. Ha a mérésünk alapján arra a következtetésre jutunk, hogy Aladár hallássérült, pedig nem az, akkor hamis pozitív eredményről van szó. Ebben az esetben tehát akkor is felfedeztük a tulajdonságot, amit kerestünk, amikor az valójában nem is volt ott. Ha viszont arra jutunk, hogy Kriszta nem hallássérült, pedig az, az hamis negatív eredmény. Ebben az esetben pedig nem vettük észre a tulajdonság meglétét.
Miért fontos megkülönböztetni ezt a kétféle hibát? A statisztikusokat persze egészen finom megkülönböztetések is érdeklik, de a hamis pozitív és a hamis negatív eredmények közötti eltérés számunkra, laikusok számára is fontos lehet.
Jól jön az érzékenység
Minden mérés során lesznek hamis pozitív és hamis negatív találatok is, a valódi pozitív és negatív találatok mellett. Létezik két olyan fogalom, ami ezek alapján megmondja, mennyire jó a mérésünk! Ezek kicsit szárazak, de ha röviden megismerkedtünk velük, utána látni fogjuk, milyen furcsa és váratlan következményekre vezetnek a mindennapi életben is...
Egy mérés érzékenysége (szenzitivitása) azt mutatja meg, mennyire tudja a mérés a valódi pozitív találatokat megtalálni. Tehát a hallássérültnek besorolt gyerekek közül megmutatja, hány százalék ténylegesen hallássérült. Ha az érzékenység maximális, akkor a hallássérültként osztályzott gyerekek 100 százaléka valóban hallássérült. Ha az érzékenység magas, kevés a hamis negatív találat.
A mérés specificitása pedig arra vonatkozik, mennyire lehet a méréssel a negatív találatokat megtalálni. Példánk esetében a nem hallássérült gyerekek közül hány százalékra mondtuk ki mi is azt, hogy nem hallássérült? Ha a specificitás magas, kevés a hamis pozitív találat.
Nem így gondolnánk
De mire jó mindez? Ha ismerjük az érzékenységet és a specificitást, valamint tudjuk, hogy az adott tulajdonság mennyire gyakori, akkor ki tudjuk számolni, hogy egy adott gyerek pozitív eredménye mennyire valószínű, hogy valós problémát takar! Tehát ha Aladárról a mérésünkkel megállapítottuk, hogy hallássérült, ki tudjuk számolni, hogy mennyire valószínű, hogy tényleg az.
Most a részletes számításokat nem mutatjuk be – érdeklődő olvasók a feltételes valószínűségeknek és a Bayes-tételnek olvashatnak utána. De egy konkrét példát mutatunk arra, hogy az intuíciónkkal mennyire nem egyező eredményekre lehet jutni. Ez főleg akkor igaz, ha az általunk keresett tulajdonság nagyon ritka. (Példánk kicsit módosítva az angol Wikipédiáról származik – azért onnan, mert szépen és érthetően végig van számolva; ha valaki további konkrétumokra kíváncsi, megnézheti.)
(Forrás: Wikimedia Commons / Cory Doctorow / CC BY-SA 2.0)
Tegyük fel, hogy hallásvizsgálatunk érzékenysége és specificitása egyaránt 99 százalék. Tehát, mint fentebb láttuk, a hallássérültként besorolt gyerekek 99 százaléka tényleg hallássérült, és a nem hallássérültként besoroltak 99% százaléka valóban nem hallássérült. Ugye remekül hangzik?
Igen ám, de ha a hallássérültség ritka, mondjuk a gyerekek fél százalékában fordul elő (ezek nem valós adatok), akkor jön a feketeleves... A Bayes-tétel ugyanis megmondja, hogy ha Aladár tesztje pozitív, Aladárnak csak körülbelül 33 százalék esélye van arra, hogy tényleg hallássérült legyen! Ez Aladárnak persze jó, de a mérést végzők szempontjából kevésbé előnyös. A gyakorlatban a hasonló problémákat úgy oldják meg az orvostudományban, hogy többféle különböző mérést végeznek.
Kellemetlen következmények
A fentebbi összefüggéseknek igen sok területen vannak következményeik. Például ha egy híres ember drogtesztje pozitív lett, azt rögtön fölkapja a média, pedig – mint láthattuk – ez egyáltalán nem jelenti azt, hogy tényleg használt kábítószereket. Még azt sem tudjuk, mennyire valószínű, hogy ez történt, hiszen rendszerint a rendőrség nem köti az orrunkra a felhasznált tesztek érzékenységét és specificitását. Feltételezhetjük, hogy a tesztek nem tragikusan rosszak, így a pozitív eredmény tényleg ér valamit – de koránt sincs szó tévedhetetlenségről, mint ahogy azt általában beállítják.
(Forrás: Wikimedia Commons)
Még ennél is meghökkentőbb a terrorizmus elleni harc esete. Vegyük azt a napokban a lehallgatási botrány kapcsán sokat emlegetett feladatot, amikor a titkosszolgálatoknak terroristákat kell találniuk! A terrorizmus tulajdonsága igen ritka az átlagnépességben, az emberek igen-igen kicsi része követ el terrorista cselekedeteket. Így hiába nagyon jó a mérés érzékenysége és specificitása (sőt mi már ebben is kételkednénk), mégis elképesztően sok lesz a hamis pozitív találat, ha mindenkit végigszűrnek. Lehet, hogy ön is terroristaként lesz azonosítva, pedig ilyesmi meg sem fordult a fejében!
De hát akkor miért hallgatják le az amerikaiak gyakorlatilag az egész internetet? A titkosszolgálatoknál nyilván dolgoznak olyan emberek is, akik értenek a statisztikához... A válasz a fentebbiek alapján szinte biztosan az, hogy az amerikaiak állításukkal szemben nemcsak a terroristák kiszűrésére használják a megfigyelő rendszereiket, hanem rengeteg más feladatra is. Erre valóban vannak adatok – mint arról korábban írtunk, az EU egy korábbi jelentése szerint az amerikaiak ipari kémkedést is végeznek a berendezéseikkel. Sőt valószínűleg inkább más feladatokra használják ezeket a fejlesztéseket, hiszen, mint láthattuk, terroristák kiszűrésére a teljes népesség megfigyelése alkalmatlan, sőt káros módszer.
Az amerikaiak mindezt a saját bőrükön is megtapasztalták! A 2001 szeptember 11-i terrorcselekmények után az FBI, a belföldi elhárítás megkérte az NSA-t, szolgáltasson tippeket arra, ki után nyomozzanak. 2006-ban az FBI egyik korábbi munkatársa azt nyilatkozta, az együttműködés arra vezetett, hogy teljesen ártatlan emberek tömegeit kellett megfigyelniük. „Felhajtunk valakit, aztán kiderül, hogy általános iskolai tanár, amennyire meg tudjuk ítélni, semmi köze a nemzetközi terrorizmushoz – akta lezárva. […] Az ezredik eset után az ember kicsit ideges lesz.”
(Forrás: Wikimedia Commons)
Akkor hogyan lehet a terroristákat megtalálni? A legjobban valószínűleg hagyományos módszerekkel, például az érzékeny helyeken besúgóhálózat kiépítésével és karbantartásával. De ez már nem a kutatásmódszertanra tartozik... Habár sorozatunk következő részében a tervek szerint még írunk egy témába vágó, a nagy adatbázisokkal kapcsolatos kérdésről!
További olvasnivaló, felhasznált irodalom
A klinikai döntéshozatal biostatisztikai háttere (fóliák, magyarul)
Clinical tests: Sensitivity and specificity
Why Does the NSA Engage in Mass Surveillance of Americans When It’s Statistically Impossible for Such Spying to Detect Terrorists? (2006-os cikk!)Spy Agency Data After Sept. 11 Led F.B.I. To Dead Ends
Még egy angol nyelvű példa a bináris osztályozásra videóval, képletek nélkül!
@Sigmoid:
"Azért ezt így leírni, hogy de facto ipari kémkedik az NSA, a pofátlanság netovábbja."
A, biztosan nem tesz ilyet! Mint ahogy az iraki es afganisztani haboru is csak a demokratizalas jegyeben tortent, segiteni e ket sokat szenvedett nepet! Es az epp ma 68 eve tortent nagasakii atomtamadas is csak a vilagot szerette volna jobba tenni!
LOL!
Azért ezt így leírni, hogy de facto ipari kémkedik az NSA, a pofátlanság netovábbja. XD
Az internetes megfigyelőrendszer pedig NEM a potenciális terroristák KISZŰRÉSÉRE szolgál, hanem az egyéb, hagyományos titkosszolgálati eszközökkel azonosított gyanús egyének lekövetésére.
A folyamatos adatrögzítés meg olyasmi, mint a modern telefonokon az "időcsúszkás kamera". Lehet hogy azután sütöd el a kioldógombot, hogy a gyerek valami nagyon cukit csinált, és akkor vissza tudod pörgetni, mert a gép folyamatosan vette a képet.
Mikor valaki után nyomoznak, akkor igen hasznos tudni nem csak azt, hogy mától kezdve kivel beszél telefonon, hanem hogy az elmúlt két-három évben kivel beszélt.
Ez nem igaz, a gyanakváshoz már egy nagyon alacsony esély is elég. Különösen, ha a saját etnikumnál sokkal alacsonyabbra teszik az arányt, hiszen őket jobban ismerik. Legalábbis úgy gondolják.
Ha mindenki ismerne a Bayes tetelt, kevesebb rasszizmus lenne a vilagban.