Oppustede undersøgelser – vil du være med?

Advarsel: Denne artikel er skrevet på vrede. Og fyldt med indirekte reklame. Men meningen er, at den skal tjene flere gode formål, og så er det måske alligevel i orden?
af Preben Sepstrup
Min irritation over YouGovs omgang med den offentlige mening fik det sidste skub mod vrede, da jeg så deres helsides annonce i decembernummeret af Media Watch. Den fortæller, at YouGovs ”innovative markedsanalyse” er suppleret af en ”24 og 48 timers Omnibus, hvor tid budget og repræsentativitet er afgørende faktorer.” Og det er jo nærmest super innovativt. Og kan vel nok sælge meningsmålinger. 
 
Billede: YouGov
 
Job som prof respondent
Ved at videreformidle YouGovs hjemmeside reklamerer jeg også for dem. Selv tak! Desuden vil jeg nu lave jobformidling mellem YouGov og de af Kommunikationsforums mange læsere, som godt kunne tænke sig lidt ekstra arbejde, der kan klares fra fra pc’en.
 
I skal tage jobbet som professionel respondent, fordi YouGov byder på både indflydelse, præmier og gaver. ”Som medlem af YouGov Panelet modtager du spørgeskemaundersøgelser via e-mail. Det er sjovt at deltage, og du bliver belønnet for din mening med point, som du kan benytte i vores pointshop eller lotteri. Du tilmelder dig til højre”, lyder det på YouGovs hjemmeside. Det kan da ikke blive meget bedre!
 
Sikke en tjans – du får både indflydelse og belønning!
Billede: YouGov
 
Der er så mange lækre mærkevarer at vælge imellem i YouGovs pointshop …
Billede: YouGov
 
Som ekstra lokkemiddel kunne YouGov tilføje, at prof-respondenten og 499 eller 999 andres mening bliver citeret med decimal af især journalister og politikere. Men det er velkendt, at det er helt til grin at bruge decimaler. Det skaber et falskt billede, som skal tage sig ud som et videnskabeligt resultat, hvilket understreges, når adjektivet “repræsentativt” knyttes til decimalerne. At metoden bag stikprøven gør, at den ikke kan være repræsentativ, og det derfor ikke er muligt at beregne usikkerhed, tales der ikke om.
 
Drømmer du om en ny bil? Vær med til at skabe en oppustet, ”repræsentativ” undersøgelse, og få samtidig lod i den store YouGov-kurv
Billede: YouGov
 
I annoncen fortæller YouGov også, at “vi er Danmarks mest citerede analyseinstitut”, og at “vi har et høj-kvalitetspanel af mere end 60.000 danskere”. Hvis dette var reklame til almindelige forbrugere, ville vi være derhenne, hvor Forbrugerombudsmanden ville gribe ind ...
 
Find en fejl
På deres hjemmeside har YouGov lavet en liste over fordelene ved YouGov Omnibus. Før du søger arbejdet som respondent for YouGov, vil jeg stille dig den prøve at finde mindst én fejl i denne liste (hentet fra YouGovs hjemmeside):
 
 
Jeg er stødt på mange humanister og journalister, som ikke kan klare denne enkle prøve. Det bekymrer mig, for jeg troede, at det blandt disse var almen viden, hvordan man bruger kvantitative undersøgelser uden at snyde sig selv eller andre. Og hvis du, kære læser, ikke lynhurtigt har peget på påstanden om repræsentativitet, skal du læse resten af denne artikel.
      
Så her kommer resten
Politikere, journalister, kommunikationsfolk og andre beslutningstagere (også med humanistisk baggrund) skal vide, at det er indiskutabelt, at repræsentative stikprøver og beregning af resultaters usikkerhed kræver en tilfældig udvælgelse, hvor alle medlemmer af populationen har en lige stor og kendt mulighed for at komme med i stikprøven. Der er afvigende metodisk korrekte fremgangsmåder, men de omfatter bestemt ikke, at respondenterne melder sig selv.
 
YouGov – og i øvrigt også Politiken – laver de “repræsentative” stikprøver ved at gange for eksempel en underrepræsenteret aldersgruppes respondenter med en faktor, der bringer dem op på populationens andel af denne aldersgruppe. Hvis disse respondenter i udgangspunktet ikke var repræsentative, gør man altså bare skaden større.
 
Desuden er der tale om respondenter, som har meldt sig som professionelle, og kun til den enkelte undersøgelse. Vi aner ikke, hvor seriøst de tager det – point får de jo under alle omstændigheder. Vi aner heller ikke, om de måske har skjulte motiver.
 
Netanalyser baseret på selvudpegede respondenter er ikke, og kan aldrig være, repræsentative for en bredt defineret population. Opvejning løser ikke problemet. Usikkerheden kan ikke beregnes.
 
Billede: YouGov
 
Moskebygning og stemmeafgivning
Blæser jeg det ud af proportion? Tænk på de mange analyser af, hvad populationen 18 år+ ville stemme, hvis der var valg. Og prøv i hovedet at sammenligne denne population med en stikprøve af respondenter, der har meldt sig frivilligt, hvad enten det er for en præmies skyld, fordi emnet interesserer, eller fordi de gerne vil øve indflydelse på, hvad der bliver den anerkendte mening om emnet.
 
Hvis femten i gruppen 65 år+ har meldt sig, udgør de 3 procent af 500 og 1,5 procent af 1000. De kan i princippet være skruptossede, men deres svar bliver alligevel ganget med 5 eller 10 for at nå de 15 procent i stikprøven, som de 65+ udgør af populationen i virkeligheden. De femten kan være ekstremt højreorienterede og have tilmeldt sig for at påvirke undersøgelsen i en reaktionær retning.
 
Overvej etikken i at medvirke
Det vrimler med netanalyser, både seriøse og pålidelige og det modsatte, og er man køber af netanalyser, er det nødvendigt, at man har et kritisk kendskab til disse analyser.
 
For den, som overvejer at blive professionel respondent – og dem vil rigtig mange af disse firmaer gerne hyre flere af – er det et etisk spørgsmål, om man vil være med.
 
Ikke-repræsentative undersøgelser og forskellige former for bevidst udvælgelse kan være udmærkede i sammenhæng med forskellige problemstillinger og formål. Og med et passende mål af viden er netanalyser formodentlig velegnede til eksplorative undersøgelser, til undersøgelser af vanskeligt tilgængelige eller mindre, afgrænsede populationer og til medarbejderanalyser.
 
Køberne af analyser skal overveje repræsentativitet og vejning
Køberne skal undersøge stikprøvernes repræsentativitet og vejningen af resultaterne. Blandt andet skal man tage med i betragtning, at indbyggerne i ”Netdanmark” stadig er forskellige fra den øvrige befolkning med hensyn til køn, alder, uddannelse, bopæl m.m. og har andre værdier, interesser og aktiviteter end den øvrige befolkning. Stikprøverne fra denne gruppe er altså ikke repræsentative. Det gælder i endnu højere grad den del af Netdanmarks indbyggere, der melder sig til et elle flere paneler som prof respondent. Det er både i kommerciel erfaringssammenhæng og forskningsmæssigt dokumenteret, at det ikke er muligt, at kompensere for netanalysers manglende repræsentativitet gennem vejning.
 
Slap nu lige lidt af!
Udbyderne af netanalyser vil argumentere for, at betydningen af repræsentativitet, tilfældig udvælgelse og vejning her overdrives som forudsætning for at kunne bruge kvantitative analyser. Måske vil de også fremføre, at de er mere raffinerede i udvælgelsen af stikprøven fra panelet. Men det ændrer ingenting.
 
For vand kan ikke løbe en lille smule opad, og man kan ikke være mere eller mindre gravid. Vil man en videnskabelig metode, må man også ville dens forudsætninger 100 procent. Alternativet er at sende analysekøberne nøgne ud på herrens mark uden gps.
 
Netanalysernes systematiske fejl og den offentlige diskussion
Netanalysernes problemer med repræsentativiteten er ikke radikalt forskellige fra problemer med andre metoder til indsamling af data, for eksempel telefoninterview i lyset af det store antal mobilabonnenter, der ikke indgår i stikprøverammerne. Netanalysernes systematiske fejl, som følge af, at respondenterne selv melder sig, er dog fortsat unik blandt de mange dataindsamlingsmetoder. Og samtidig fylder resultaterne af deres undersøgelser uhyggelig meget som argument i den offentlige diskussion.
 
YouGov er langt den mest aggressive sælger af uholdbare netanalyser, men er bestemt ikke alene om at påvirke journalister, politikere og umanistiske beslutningstagere i kommunikationsbranchen med uholdbare netanalyser.
 
Webpols brug af prof-respondenter
Der er mange analysebureauer, og mange af dem, vi kender fra medierne, tilbyder analyser baseret på prof-respondenter. Det Politiken-ejede Webpol præsenterer sig for eksempel sådan her:
 
”Vores undersøgelser gennemføres hovedsageligt med udgangspunkt i vores Danmarkspanel. Det består af godt 20.000 engagerede medlemmer, som skaber grundlag for alsidige undersøgelser med åbne og ærlige svar.
Hvorfor online? Foruden at det er nemt, hurtigt og billigt, så fanger vi respondenterne når de har tid til at svare, og vi er dermed sikret deres fulde opmærksomhed på spørgeskemaet.
Dette afspejles i høj grad i vores åbne besvarelser, hvor respondenterne giver sig god tid til at svare fyldestgørende på vores spørgsmål. Derudover er vi naturligvis fuldstændig fri for ydre påvirkning af respondenten – det er respondenten selv, der læser spørgsmålet, og respondenten selv, der markerer svarmuligheden, eller med egne ord giver sit svar.”
 
 
Seriøse netanalyser
Til sidst et eksempel på et firma, der arbejder seriøst med deres analyser. På deres hjemmeside skriver analysefirmaet Megafon blandt andet, hvorfor man ikke selv kan tilmelde sig: ”MEGAFONS Danmarkspanel består af et bredt udsnit af danskere, som MEGAFON har rekrutteret til deltagelse i forbindelse med et telefoninterview. På denne måde sikrer vi, at de, der bliver inviteret til at deltage i panelet, udgør et så bredt og repræsentativt udsnit af befolkningen som muligt og ikke begrænses til de mest aktive internetbrugere samt de, der meget gerne deltager i undersøgelser. ”
 
Billede: Megafon
 
 

Del artikel

Tilmeld dig vores nyhedsbrev

Vær på forkant med udviklingen. Få den nyeste viden fra branchen med vores nyhedsbrev.

Forsiden lige nu

Læs også

Job