Kiket kell megkérdezni?
A kérdőíves felmérésekről számos téves elképzelés él a köztudatban. Talán a legelterjedtebb az a tévhit, hogy minél több embert kérdezünk meg, annál pontosabb eredményt kapunk. Az a fiatal vállalkozó, aki először rájött a tévedésre, bekerült a történelembe...
Kérdőívet összeállítani egyszerű, sokszorosítani szintén nem bonyolult: bárki belefoghat, és az interneten válaszadókat is találhat bőven. De azt meglehetősen nehéz elérni, hogy az eredmény a valóságnak megfelelő legyen! Hogyan lehetséges, hogy a közvéleménykutatók csak pár száz embert kérdeznek meg, és mégis határozottan állítják, hogy eredményeik pontosak? A válaszadók számával együtt növekszik a felmérések megbízhatósága, vagy ez nem igaz? Tényleg nem érnek semmit a webes kérdőívek? A titok nyitja ismét a kutatásmódszertan!
(Forrás: Wikimedia commons / Takkk / CC BY-SA 3.0)
Mintamókus
Ahhoz, hogy választ találjunk a kérdéseinkre, előbb meg kell ismerkednünk két fontos fogalommal. Az első a populáció (népesség), erről szeretnénk valamit megtudni a vizsgálatunk során. A populáció bármi lehet, nem feltétlenül kell ténylegesen emberekből állnia, így a magyar népesség szó egy kicsit félrevezető. Populációt alkothatnak például a Nyest olvasói, egy szöveg helyesírási hibái, vagy éppen a dzsungáriai törpehörcsögök. A populáció tagjai lehetnek egyedek – ha élőlényekről van szó – vagy elemek: ez csak szóhasználati hagyomány, jelentősége nincs.
(Forrás: Wikimedia commons)
A második alapfogalmunk a minta. A minta olyan elemekből áll, amelyek a populációban is megtalálhatóak, de a minta jóval kevesebb elemet tartalmaz. Azt a folyamatot, aminek során a populációból kiválasztjuk a mintába tartozó elemeket, mintavételnek nevezzük. De miért van szükség ilyen körülményeskedésre, miért nem tanulmányozzuk egyszerre az egész populációt? Legtöbbször azért, mert erre egyszerűen nincs idő vagy pénz. Ha a magyarok idegennyelv-tudását szeretnénk vizsgálni, meglehetősen sokáig tartana házról házra járva mindenkit megkérdezni! Az is lehet, hogy muszáj mintát venni: például ha van egy olyan állatkísérletes vizsgálatunk, ami a kísérleti példányok pusztulásával jár, akkor nyilván nem szeretnénk az összes állatot kiirtani.
A fordított helyzet is előállhat: nincs mindig szükség mintavételre. Ha a populáció minden egyedéhez hozzáférünk, akkor teljesen fölösleges mintát vennünk belőle. Sajnos ez rendszerint csak akkor működik, ha a populáció nagyon kicsi – mondjuk ha egy ritka genetikai rendellenességben szenvedők nyelvhasználatát szeretnénk tanulmányozni, ez történt például a londoni KE család esetében –, vagy ha nagyon gazdagok vagyunk. Az állam például minden polgáráról számos adatot tart nyilván, habár ezekbe nem biztos, hogy a kutatóknak is betekintést enged.
A technika fejlődésével szerencsére egyre gyakrabban áll elő az a helyzet, hogy a lelkes kutató akár az egész populációhoz is hozzáférhet, csak győzze az elemzést. A nyelvészetben ez különösen jellemző: például ha valaki régebben az újságok nyelvhasználatát szerette volna vizsgálni, akkor néhány jól kiválasztott számra kellett magát korlátoznia, de ma valószínűleg a teljes archívumot be tudja szerezni könnyen használható elektronikus formátumban.
(Forrás: iStockPhoto)
Körkérdés az ismerősöknek
Mintát sokféleképpen lehet venni, de nem minden módszer egyformán jó. Tegyük fel, hogy szeretnénk megtudni, a magyar lakosság hány százalékát érdekli a nyelvészet! Tehetjük például azt, hogy megkérdezzük az összes ismerősünket. Igen ám, de így meglehetősen más eredményre fogunk jutni, ha magunk is nyelvészek vagyunk – és így feltételezhetőleg sok nyelvész ismerősünk van –, mint ha mondjuk villamosmérnökök vagy porcelánfestők lennénk. Ez a módszer tehát nem az igazi – szaknyelven úgy mondják, a mintavétel nem reprezentatív.
A reprezentatív mintának ugyanolyan tulajdonságai vannak, mint a populációnak, csak kevesebb elem van benne. Ha mondjuk a bölcsészhallgatókat mint populációt szeretnénk vizsgálni, és a mintában szinte csak férfiak találhatóak, akkor az a minta biztosan nem lesz reprezentatív, mert a nemek aránya más benne, mint a populációban. Ha nem tudunk olyan mintát létrehozni, ami minden tekintetben reprezentatív, akkor arra kell törekednünk, hogy legalább azokban a tekintetekben az legyen, amelyek feltételezhetőleg hatással vannak az általunk vizsgált problémakörre. (Például a bölcsészhallgatók szemszíne valószínűleg nem különösebben fontos, ha a nyelvészeti érdeklődésüket mérjük.)
A reprezentativitás egyféle ideális állapot, amit igen nehéz elérni. Ha reprezentatív mintát szeretnénk, akkor arra kell törekednünk, hogy a populáció minden elemének ugyanakkora esélye legyen arra, hogy a mintába kerüljön. (Ezt megtehetjük például úgy, ha beszerzünk egy listát az elemekről, majd véletlenszerűen választunk közülük, de a gyakorlatban ez az eljárás sokszor nehézségekbe ütközik.) De miért olyan fontos, hogy reprezentatív legyen a minta? A közvéleménykutatás története nagyszerű példával szolgál!
Roosevelt a nyerő
A múlt század elején Amerikában egy nagy és népszerű hetilap, a Literary Digest szerkesztői még tovább akarták növelni a példányszámot, és kitalálták, hogy megszavaztatják a népet. A magazin több millió levelezőlapot küldött ki – ezeken a címzett megadhatta, hogy kire fog szavazni az épp esedékes elnökválasztáson. A címeket a lap munkatársai a saját előfizetési címjegyzékükből, illetve később a telefonkönyvből és az autótulajdonosok regiszteréből gyűjtötték össze. A levelezőlapot rengetegen visszaküldték, a Literary Digest sikeresen megjósolta a következő elnök kilétét, és a példányszám is növekedett. A terv nagyszerűen bevált, úgyhogy ezután a hetilap minden választási évben megismételte az előrejelzést. Azonban 1936-ban váratlan esemény történt...
(Forrás: Wikimedia Commons)
Ebben az évben Alf Landon republikánus és Franklin Delano Roosevelt demokrata jelölt versengett az elnökségért, és az utóbbi nyert, méghozzá igen jelentős különbséggel. A Literary Digesthez több mint kétmillió szavazat érkezett be, az újság mégis tévesen jósolta meg az elnökválasztás kimenetelét! Ráadásul még nagyobb szégyen volt számukra, hogy egy fiatal vállalkozó, George Gallup cége mindössze ötezer embert kérdezett meg, és mégis helyes eredményre jutott. Mi volt a magazin kudarcának oka?
Azt már talán a fentebbiekből sejthetjük, hogy a kérdésre válaszoló olvasók nem alkottak reprezentatív mintát. De miért? Ahhoz, hogy valaki újságokat járasson magának, illetve hogy saját telefonszáma vagy autója legyen, kell egy bizonyos jövedelemszint – 1936-ban nem volt olyan gyakori a telefonelőfizetés, mint most. Így emiatt a mintavételezési módszer miatt a szegényebbeknek kisebb volt az esélye a mintába bekerülésre. A gazdagabb polgárok pedig inkább a republikánus jelöltet támogatták (ekkoriban szintén gazdasági válság volt). Egy utóvizsgálat emellett még azt is kimutatta, hogy a Landon-szavazók hajlamosabbak voltak visszaküldeni a levelezőlapot.
Gallup megpróbálta ezeket a torzító hatásokat kiküszöbölni – például alkalmazott utcai kérdezőbiztosokat is – és sikerrel járt, vállalata pedig egyre növekedett. Azonban 1948-ban a Gallup-cég szintén tévesen jósolta meg a következő elnök személyét! A kudarcot maga Gallup azzal magyarázta, hogy túl korán, a választások előtt három héttel végeztette el a mérést. A tanulság: hiába reprezentatív a minta egy adott időpillanatban, az nem biztosítéka annak, hogy a jövőben is minden változatlan marad. Három hét a politikában pedig már akkor is sok idő volt...
(Forrás: Wikimedia commons)
Mekkorának kell lennie a mintának? Azt a példából is láthatjuk, hogy nem igaz az az állítás, hogy minél több a válaszadó, annál valószínűbb a siker. Lehet, hogy az internetes kérdőívünkre több ezren válaszolnak, de ez önmagában nem jelent semmit, ha mind az ismerőseink, vagy az ismerőseink ismerősei. Ha valaki a nagy mintájával villog, most már tudjuk, milyen kellemetlen kérdést kell feltennünk neki: hogyan állította össze?
Nincs még egy ilyen ország?
Számos más hatás teheti tönkre a kérdőíves vizsgálatok eredményét. Az efféle kutatások módszertana mára jól rögzült, de azért néha még napjainkban is megesnek hasonló esetek. Az egyik kellemetlen meglepetés épp Magyarországon történt: 2002-ben az összes nagy közvéleménykutató cég tévesen jósolta meg az országgyűlési választások végkimenetelét! Mind egybehangzóan a Fidesz győzelmét jelezték, de végül az MSZP nyert.
Az adatok utóelemzéséből kiderült, valószínűleg mi volt a hatalmas baklövés oka: az összes közvéleménykutatónál rendkívül magas volt azoknak az aránya, akik nem voltak hajlandók válaszolni arra a kérdésre, kire fognak voksolni. A válaszmegtagadók között pedig valószínűleg az MSZP-szavazók voltak többségben, ők nem merték bevallani a kérdezőbiztosnak a pártpreferenciájukat. Az emberek kétharmada ugyanis Fidesz-győzelmet várt, így az MSZP-szimpatizánsok tartottak attól, hogy hátrány érheti őket. Erre abból is lehetett következtetni, hogy azok, akik nem árulták el a kérdezőbiztosnak, kire fognak szavazni, más kérdésekre a vállaltan MSZP-sekhez hasonlóan válaszoltak.
Házi módszer?
Mit lehet tenni, hogy mi magunk elkerüljük a tévedést? A legegyszerűbb az, ha korlátozzuk a vizsgálat érvényességi körét. Ha csak az egyetemista barátainkat tudjuk megkérdezni, ne állítsuk, hogy az egész magyar lakosságra érvényes eredményeket kaptunk... de a magyar egyetemistákról talán már óvatosan kimondhatunk valamit.
A gyakorlatban sokszor nem is itt buknak el az amatőr vizsgálatok, hanem a kérdésfeltevésen. Mit és hogyan kérdezzünk, hogy értelmes válaszokat kapjunk? Ez a probléma nagyon elméletinek tűnik, a közelmúltban mégis aktuálpolitikai viharokat kavart. Legközelebb mi is kitérünk rá!
További olvasnivaló
A közvélemény-kutatás fekete napja
Squire, P. (1988): Why the 1936 Literary Digest Poll Failed.
Ray, W. J. (2008): Methods Toward a Science of Behavior and Experience. Sampling fejezet
"Mit ez akar gyenge fehér?"
@Pesta: "Na adja má' meg még egyszer a telefonszámát, ki vót ez maguk?" :D
@Pesta: Nem jó! "Ne haragudjon, milyen alapon zaklat éngem délutáni pihenés közben éjszaka?" :))))))))))))))))
„Ne haragudjon, milyen alapon zaklat éngem a délutáni pihenés közben?" :))