Hányféleképpen lehet elrontani egy mérést?
Tudomány, nácizmus, céllövölde
Azt mérik a kutatók, amit mérni szeretnének? Sokszor nem ez a helyzet. A kísérleti személyek igen könnyen befolyásolhatóak, a kísérlet környezete pedig sokszor köszönő viszonyban sincsen a hétköznapok világával. Ön szokott szabadidejében áramütést osztani?
Hányféleképpen lehet elrontani egy mérést? A tudósok természetesen ezt is megpróbálják elemezni, mi pedig megosztjuk olvasóinkkal, mire jutottak. Olykor kissé bizarr kutatásmódszertani sorozatunkban ismét lesz lövöldözés, sőt ezúttal a nácik is előkerülnek... A továbbiakhoz néhol erős idegzet szükséges!
(Forrás: Wikimedia Commons / (Deutsches Bundesarchiv, 101I-443-1582-32 / Bauer / CC BY-SA 3.0)
Szór a puska
Többféle felosztás létezik, de nagy vonalakban a méréseknek kétféle tulajdonságát különböztethetjük meg. A mérés megbízhatósága (reliabilitása) annyit tesz, hogy ha sokat ismételjük, ugyanazt az eredményt kapjuk-e, vagy valami egészen mást. A mérés érvényessége (validitása) pedig arra vonatkozik, egyáltalán azt mérjük-e, amit szeretnénk?
Az angol Wikipédián nagyszerű szemléltetést láthatunk céltáblákkal. (A vadnyugati mesterlövészek már korábban is előkerültek sorozatunkban!) A feladat eltalálni a céltábla közepét. A jobb alsó sarokban a megbízhatóság is jó, az érvényesség is – ez az ideális eset. Mellette balra a megbízhatóság remek, azaz nagyjából egy helyre csapódnak be a lövedékek, de az érvényesség rossz: igen messze vannak a céltábla közepétől. A jobb felső sarokban a helyzet épp fordított: a lövések a középpontot célozzák, tehát az érvényesség jó, de a megbízhatóság rossz, mert nagy részük igen messze van tőle. A bal felső sarokban pedig minden úgy pocsék, ahogy van!
(Forrás: Wikimedia Commons / Nevit Dilmen / GNU-FDL 1.2)
Mindez viszonylag egyszerűen hangzik, de a kép igen elbonyolódik, ha szeretnénk közelebbről is meghatározni ezt a két tulajdonságot. Mindkettőnek számos alkategóriája és válfaja van... Most először a mérés érvényességét járjuk körbe!
Reménytelen feladat?
A mérés érvényessége olyannyira nehezen megfogható, hogy a témával foglalkozó egyik szakmunka egyenesen azzal indít, hogy „Talán az is kár, hogy az érvényesség fogalma egyáltalán megszületett”. Gyakran megkülönböztetik mindesetre a külső és a belső érvényesség fogalmát. A külső érvényesség arra vonatkozik, mennyire általánosíthatunk a mérési eredményekből. Amit találtunk, csak a mi kísérleti személyeinkre igaz, vagy másokra is? Rengeteg tényező veszélyeztetheti egy mérés külső érvényességét – most terjedelmi okokból csak néhányat tudunk mutatni, de előző cikkeinkre is visszautalunk!
Már korábban hosszasan írtunk arról a jelenségről, hogy a legtöbb, emberi viselkedéssel foglalkozó kutatás olyan méréseken alapul, amelyeket amerikai vagy nyugat-európai alsóbb éves pszichológushallgatókon végeztek. Ez tulajdonképpen érthető, hiszen ők vannak kéznél, de egyre több kultúrközi összehasonlító vizsgálat mutatja, hogy ez a kísérleti populáció sok tekintetben igen szélsőséges jellemzőkkel bír. Saját tapasztalatunk szerint még a magyar alsóbb éves pszichológushallgatókon sem feltétlenül sikerül hasonló eredményekre jutni! A külső érvényességnek ezt a típusát mintaérvényességnek is szokás nevezni; ide tartozik még a minta reprezentativitása is, mint azt korábban részleteztük.
(Forrás: Wikimedia Commons)
Négy fal között
A külső érvényességet nemcsak a mintavétellel kapcsolatos tényezők befolyásolhatják, hanem a mérési helyzet maga is; ide kapcsolódik az ökológiai érvényesség fogalma. Az elnevezés ne vezessen félre bennünket, ez a fogalom nem a környezetvédelemmel kapcsolatos, hanem a mérés környezetével! A tipikus pszichológiai vagy éppen pszicholingvisztikai kísérlet nagyjából úgy néz ki, hogy egy üres szobában egy számítógépen gombokat nyomkod a kísérleti személy. Ebből mindenféle kiderül, csak éppen lehet, hogy az eredményeket egyáltalán nem tudjuk a való élet környezetére vonatkoztatni. Elképzelhető, hogy például a nagyszerűen beállított műszerek előtt, a csendes, nyugodt helyiségben a diszlexiával élők olvasáskészségét fejlesztő módszerünk tökéletesen működik, de egy átlagos osztályteremben teljesen hatástalannak bizonyul.
(Forrás: Wikimedia Commons / Biloute62 / CC BY-SA 3.0)
Ennél vérfagyasztóbb példánk is van: a következő mérést az 1960-as években végezték, és ma már valószínűleg nem engedélyezné egy egyetem etikai bizottsága sem... A szociálpszichológia történetének egyik leghírhedtebb vizsgálata a Milgram-féle engedelmességi kísérlet. Stanley Milgram kísérleti személyeit bevezette a laborba, majd egy tanulási vizsgálat ürügyével arra kérte őket, hogy adjanak egyre nagyobb áramütést a kísérlet a szomszéd szobában tartózkodó másik résztvevőjének. Az egész csak színjáték volt, senki sem kapott áramütést, a másik helyiségben magnóra felvett hangokat játszottak le. Ezt azonban a vizsgálati személyek nem tudták. Mégis, a Yale egyetem tekintélyes, fehér köpenyes tudósai jelenlétében a résztvevők hajlandóak voltak akár a halálos áramütésig is elmenni. Ezt a legtöbben igen nehezen viselték, de azért végrehajtották a rájuk bízott feladatot. Elvégre parancsra tették!
(Forrás: Wikimedia Commons)
A kísérleti pszichológusok Milgram óta inkább pulóvert hordanak... Kérdés, a két esemény között van-e ok-okozati viszony!
Mielőtt nagyra törő következtetéseket vonnánk le a vizsgálatból, jó, ha tudjuk, hogy a későbbi ismétléseket minél kevésbé laborkörülmények között hajtották végre, annál kevésbé engedelmeskedtek a résztvevők. Egy egyszerű irodában kisebb volt az engedelmeskedők aránya, mint a Yale egyetemen. Amikor pedig a tudósok elhagyták a fehér köpenyt, szintén kevésbé engedelmeskedtek nekik az emberek. Ráadásul voltak, akik a kísérlet után úgy nyilatkoztak, még sose találták magukat ilyen szokatlan helyzetben és ez teljesen összezavarta őket.
Azon a mai napig lehet vitatkozni, mennyire reprezentálta ez a vizsgálat a náci Németországot... Valószínűleg nem nagyon, de azt mindenesetre megtanultuk, hogy a sztereotip tudós-egyenruha engedelmességre sarkall, a laborban pedig általában azt csinálják az emberek, amit mondanak nekik! (Társadalomtudományi kutatónak készülőknek megnyugtató információ...)
Van kiút
A laborkísérletek ökológiai validitása általában borzasztó, egy terepvizsgálaté viszont remek. Akkor miért végez olyan sok kutató laborkísérleteket? Azért, mert az ellenőrzött kísérleti környezet lehetővé teszi, hogy mindenféle olyan hatást kizárhassunk, ami épp nem érdekel minket. Persze ennek a hátulütője az, hogy olyan hatásokat is kizárhatunk, amelyek a mindennapi életben döntő fontosságúak...
Hogyan bizonyosodhatunk meg arról, hogy a mérésünk külső érvényessége jó? A legjobban úgy, ha újra és újra elvégezzük más körülmények között. Amerikai egyetemi hallgatók helyett magyar gyári munkásokat vagy brazil autóversenyzőket keresünk, mérünk az utcán, az iskolában, vagy akár egy pártgyűlésen. Ha ugyanazt találjuk, örülhetünk, a vizsgálatunk külső érvényessége jó. Ha nem ugyanazt találjuk, akkor is örülhetünk, mert felfedeztünk valami váratlant... Kérdés, a két lehetséges végkimenetel közül melyiket lehet jobban publikálni.
Legközelebb továbbmegyünk – kiderül, mi az a belső érvényesség, és újabb meglepő példák is elhangzanak! A nácikat és a lövöldözést azért majd inkább hanyagoljuk...
Felhasznált irodalom
Taylor, C. S. (2013): Understanding Statistics: Validity and Validation. Oxford: Oxford University Press.
Szokolszky, Á. (2004): Kutatómunka a pszichológiában. Budapest: Osiris.