Ötvenhatos patkányok és hallucináló katonák
Még egyszer a mérések érvényességéről
Miért nem feltétlenül jó ötlet, ha a hadsereg áll neki gyógyszert fejleszteni? Ártatlan turisták tömegei hallucináltak a maláriaellenes gyógyszertől. Még egy laborkísérletben sem könnyű minden zavaró tényezőt kizárni... Akár a kísérletvezető hozzáállása is befolyásolhatja a mérést!
Szórakoztató kutatás-módszertani sorozatunkban a legutóbb a mérések érvényességéről írtunk. Akkor az derült ki, hogy akkor érvényes egy mérés, ha tényleg azt mérjük vele, amit szerettünk volna. De nagyon sokféleképpen lehet érvénytelen mérést előállítani...
Mi tehetünk róla?
Legutóbb azt ígértük, hogy hanyagoljuk a lövöldözést, de azért némi fegyveres harc csak becsúszott, habár nácik most nem lesznek. Agresszív példáinkért ezúton is elnézést kérünk olvasóinktól...
Arra már mutattunk pár példát, mik rontják a mérés külső érvényességét, azaz azt, hogy mennyire általánosíthatunk a kísérleti személyeinkről a teljes népességre. Most továbbmegyünk és megnézzük, hogyan lehet a belső érvényességet elszabotálni!
A belső érvényesség nagy vonalakban annyit tesz, levonhatjuk-e a következtetést, hogy tényleg a mi beavatkozásunk okozta-e a mért változást. Azt gondolhatnánk, egy laborkísérletben könnyű kizárni mindenféle egyéb tényezőt, de ez sincsen feltétlenül így.
Történelmi tények?
A mérésünktől függetlenül bekövetkezett, de arra ható események könnyen befolyásolhatják a mérés végeredményét, nekünk pedig fogalmunk sem lesz, mi okozott mit. Ez akár még állatkísérletekben is igaz lehet – Barkóczi Ilona pszichológus-kutató önéletrajzi visszaemlékezésében írja, hogy az ötvenhatos forradalom kitörésekor próbált bejutni az intézetbe, hogy folytassa az épp zajló patkánykísérletét. Azonban összefutott a főnökével és az elküldte, hogy menjen inkább a hazát védeni. Így is tett, a patkányok pedig elpusztultak. Ebben az esetben nem a kísérleti beavatkozás okozta a patkányok vesztét, hanem a forradalom...
A példa szélsőséges, de a hasonló hatások finomabb formájukban igen észrevétlenek is lehetnek. Szintén valós példa következik: lehet, hogy résztvevőink az egyik kísérleti feltételben azért teljesítettek rosszabbul, mint a másikban, mert épp besütött a szobába a nap, és ez zavarta őket.
Most ezt muszáj?
A legtöbb hasonló mérést önkénteseken végzik. (Szerencsére!) Ez azonban problémát is okozhat, ha sokan menet közben úgy döntenek, ők mégis inkább kiszállnának. Például – ez most teljesen fiktív példa – ha kísérleti személyeinknek nagyon idegesítő szóvicceket kell hallgatniuk, és java részük egyszerűen elmenekül, akkor a fennmaradó résztvevők adatai alapján akár azt a következtetést is levonhatjuk, hogy a szóviccek egyáltalán nem is idegesítőek.
Orvosi kísérletekben komoly gondot okozhat, ha az elviselhetetlen mellékhatások miatt lépnek ki a résztvevők a vizsgálatból, és a kutatók erről nem szereznek tudomást. Még rosszabb, ha embereink nem mernek kilépni a vizsgálatból, hanem inkább hallgatnak – ez történhetett a közelmúlt egyik nagyobb gyógyszerfiaskója esetében is. Az amerikai hadsereg által a malária megelőzésére kifejlesztett meflokin (Lariam) súlyos neuropszichiátriai mellékhatásokat okozhat: szedői hallucinálhatnak, alvászavaraik és öngyilkos késztetéseik támadhatnak. A katonák évtizedeken át panaszkodtak, de senki sem vette őket komolyan. Csak a 2000-es évek elején készültek hatásvizsgálatok civil önkénteseken: a résztvevők kétharmada jelentett a kutatóknak hasonló mellékhatásokat!
Elegük van
Az ismételt mérés önmagában vezethet teljesítményjavuláshoz: a résztvevőknek a gyakorlás miatt jobban megy a kísérleti feladat. Az ellenkezője is igaz lehet: ha sokáig piszkáljuk őket ugyanazzal, megunják és romlik a teljesítményük.
Meglehetősen furcsa probléma is akadhat: mi van akkor, ha az okság iránya nem egyértelmű? Azt gondolnánk, amelyik hatás előbb volt, az okozza a másikat, de az időbeli sorrendet nehéz lehet megállapítani – sorozatunkban korábban már mutattunk több hasonló példát, amikor a harmadik változó problémájáról volt szó. Egy figyelmesen megtervezett kísérletben azért az ilyesmi nem igazán okoz gondot, de sosem lehet tudni... A következő, belső érvényességet rontó hatás viszont igencsak kellemetlen és a legsterilebb körülmények között is előállhat!
Önbeteljesítő jóslatok
Ezt a jelenséget olykor Pygmalion-hatásként is emlegetik. Pügmalión görög mitikus alak és a történetének modern adaptációja, G. B. Shaw Pygmalion című színdarabja után. A mű musicalváltozata, a My Fair Lady még közismertebb.
Még ijesztőbb példa az érvényesség korlátaira a felfedezőiről elnevezett Rosenthal-Jacobson-hatás. Ez annyit tesz, hogy minél többet várnak valakitől, annál jobban teljesít! (Fordítva is igaz: akitől kevesebbet várnak, rosszabbul teljesít.) Robert Rosenthal és Lenore Jacobson amerikai kutatók egy általános iskolában végezték el a következő kísérletet: felvettek a diákokkal egy IQ-tesztet, majd azt mondták a tanáraiknak, hogy ez alapján besorolták a gyerekeket a szerint, mekkora fejlődés várható tőlük a következő tanévben. A teszt valódi volt, a besorolás viszont véletlenszerű. Az év végén megismételték az IQ-tesztet és azt találták, hogy azok a diákok, akiktől a tanárok fejlődést vártak, tényleg jobban fejlődtek. (Ma már egy ilyen kísérlet valószínűleg nem igazán menne át az etikai bizottságon, de a hatvanas években ez még belefért.)
A kísérletvezető elvárásai bármilyen emberekkel kapcsolatos mérést érvénytelenné tehetnek. Sőt a kutatók elképzelései nemcsak az emberek, hanem akár az állatok viselkedését is befolyásolhatják! Nem véletlen, hogy a gyógyszerkísérletek szabványai szerint a kísérletvezető sem tudja, ki kapja a gyógyszert és ki a hatóanyag nélküli tablettát...
Segítség, hogyan mérjek?
Hogyan lehet a belső érvényességet magasan tartani? Sajnos erre nincsen csodamódszer. Mint a fentiekből is láthattuk, igen sokféle különböző tényező fenyegeti a mérésünk belső érvényességét; ez kicsit afféle „mindent bele” kategória a módszertanban. Sok tényezőről terjedelmi okokból szót sem tudtunk ejteni, csak néhány példát ragadtunk ki.
Ráadásul az sem biztos, hogy feltétlenül érdemes a belső érvényesség maximalizálására törekedni! Sok olyan mérés van, ami nem mond semmit az okságról, mert nem is ez a célja – csak együttjárásokat vizsgál. Persze mondhatjuk, hogy a hagyományos kísérlet mindennél feljebb való (vannak, akik tényleg így gondolják!), de azért az emberekkel foglalkozó tudományokban rengeteg olyan eszközre és módszerre is szükség van, ami a kísérleti módszer keretei közé igen nehezen gyömöszölhető be.
Sorozatunkban legközelebb terveink szerint a mérések megbízhatóságáról szólunk!
További olvasnivaló, felhasznált irodalom
Croft, AM (2007): A lesson learnt: the rise and fall of Lariam and Halfan. Journal of the Royal Society of Medicine, 100(4): 170–174.
Bodor-Lányi-Pléh (1998): Önarckép háttérrel. Pszichológusok önéletrajzi írásai. Budapest: Pólya.
Taylor, C. S. (2013): Understanding Statistics: Validity and Validation. Oxford: Oxford University Press.