Når tallene lyver
Mediernes brug af analyser er steget konstant i flere år. Ikke mindst på grund af mulighederne for hurtigt at foretage befolkningsundersøgelser via web og mobile enheder. Fra tid til anden dukker der så sager op, hvor analyserne bliver taget op til kritisk eftersyn – og dumper.
”36% af danskerne mener…”, ”Et flertal går nu ind for…”, ”Fire ud af fem forældre…”. Befolkningsundersøgelser og analyser indgår i et konstant spil, hvor journalister på den ene side elsker historier, der bygger på nye tal. Og på den anden side konstant er på vagt over for at blive spændt for en vogn og nogle vinkler, som ikke kan bære, når det kommer til stykket.
Analyser bruges i alle mulige sammenhænge. Som presse-/PR-krog, som grundlag for kommunikationsstrategier, marketing, kundekommunikation, kampagner, evaluering etc. Og det gør de, fordi data og tal er et ekstremt stærkt grundlag for nyheder og historier. Et tal kan bruges som en kraftfuld illustration eller støtte til det budskab, man gerne vil ud med. Men hvad hvis man ikke kan stole på de analyser, man får forelagt? Hvis det viser sig, at de tal, resultater og konklusioner, som bliver præsenteret, er unøjagtige eller decideret uden hold i virkeligheden?
Data og tal er et ekstremt stærkt grundlag for nyheder og historier. Men hvad hvis de ikke er korrekte? Kilde: Gettyimages.
Psykiatrifondens undersøgelse
For to uger siden lancerede Psykiatrifonden en stort opsat kampagne, som gav omtale i Politiken, Berlingske, BT, på TV2.dk og i TV 2 NEWS med overskrifter som ”Hver anden danske forælder laver ikke daglige aktiviteter med deres børn”. Baggrunden for kampagnen var en analyse lavet for Psykiatrifonden med 1.400 respondenter. Reaktionerne fra eksperter, forældre og Psykiatrifonden selv var forfærdede og forargede.
For to uger siden lancerede Psykiatrifonden en stort opsat kampagne, som gav omtale i Politiken, Berlingske, BT, på TV2.dk og i TV 2 NEWS med overskrifter som ”Hver anden danske forælder laver ikke daglige aktiviteter med deres børn”. Baggrunden for kampagnen var en analyse lavet for Psykiatrifonden med 1.400 respondenter. Reaktionerne fra eksperter, forældre og Psykiatrifonden selv var forfærdede og forargede.
Problemet? Det passede ikke. TV 2 Nyhederne tjekkede firmaet bag analysen og fandt uregelmæssigheder. Store uregelmæssigheder faktisk – så store, at man kunne så berettiget tvivl om, om undersøgelsen overhovedet var blevet lavet. Psykiatrifonden bad om dokumentation fra analysefirmaet, det kunne firmaet ikke levere.
Psykiatrifonden så ikke anden udvej end at stoppe samarbejdet, trække undersøgelsen tilbage (sammen med flere andre undersøgelser fra samme firma) og bremse alle kommunikationstiltag baseret på undersøgelsen. Også BUPL har efterfølgende trukket flere undersøgelser lavet af samme analysefirma tilbage, og Diabetesforeningen har taget samme skridt.
Har du været sammen med dit barn i dag? Psykiatrifondens undersøgelse lavet af Corcom, viste foruroligende resultater. Problemet var, at det ikke var sandt. Kilde: Polfoto/ Anders Birch.
Brug tal alligevel
Konklusion: Kæmpe skade på organisationernes troværdighed og underminering af deres muligheder for senere at trænge igennem med deres budskaber. Dertil en generelt øget mistro fra journalister, beslutningstagere og befolkning til analyser og fakta. Altså en lige højre til alle, der bringer tal og analyser ind i den offentlige debat.
Konklusion: Kæmpe skade på organisationernes troværdighed og underminering af deres muligheder for senere at trænge igennem med deres budskaber. Dertil en generelt øget mistro fra journalister, beslutningstagere og befolkning til analyser og fakta. Altså en lige højre til alle, der bringer tal og analyser ind i den offentlige debat.
Eller hvad? Skal enkelte brodne kar virkelig være grund nok til ikke at anvende tal, analyser og data i samfundsdebatten? Mit svar er nej, så i det følgende kommer en trin-for-trin-guide til, hvordan man kan bedømme, om en analyse er troværdig eller ej. Her kan du læse, hvordan man som modtager tjekker troværdigheden af en undersøgelse og de overskrifter, som kommer ud af den:
TRIN 2 – Gå tallene efter. Hvis det overhovedet er muligt, er det en god ide selv at se kritisk på de fremlagte tal. Overskrifter og vinkler kan være skåret til og bygger måske på udvalgte delresultater, mens andre af undersøgelsens resultater kan være i modstrid (og måske mere interessante…) end de tal, som bærer hovedhistorien.
Et andet vigtigt spørgsmål er, om dataindsamlingen er foretaget ved repræsentativ udvælgelse eller ej. Hvis ikke (hvis der f.eks. er tale om en web-poll på et firmas hjemmeside) kan resultaterne nemlig ikke generaliseres til f.eks. den danske befolkning. Nogle gange er denne information dog ikke umiddelbart tilgængelig, og så må man gå videre til trin 3:
Lav dit detektivarbejde: Brug din sunde fornuft og gå tallene efter. Stemmer informationerne overens? Kilde: Polfoto/ Nemoto Yenpitsu.
TRIN 3 – Søg efter eller spørg ind til baggrundsmaterialet. Nogle gange henvises der direkte til f.eks. samlede rapporter, som ligger til grund for historien. Andre gange må man selv søge efter baggrundsmaterialet eller endda spørge afsenderen om at få lov til f.eks. at se analysens metodiske design, spørgeskema mv. Simpelthen bede om at få baggrundsmaterialet – det, som normalt findes i bilagene og ikke sendes til medierne.
Det kan virke som et voldsomt træk (og derfor bør det også kun gøres, hvis man virkelig ikke stoler på analysen…!), men på den anden side bør analysefirmaer være parate til at lade sig kigge efter i kortene, så længe det kan gøres i fortrolighed (det er jo trods alt forretningshemmeligheder og ikke forskning, der er tale om). Hvis man får mulighed for at gå baggrundsmaterialet efter i sømmene, er man gået til trin 4:
TRIN 4 – Vær kritisk over for temaer, vinkler og spørgsmålsformuleringer. Især sidstnævnte er ofte kilde til utroværdige tal, ganske enkelt fordi der stilles ledende eller upræcise spørgsmål i undersøgelsen. Dette vil underminere historien, da man ikke længere kan stole på de tal, som ligger bagved. Hvis man til gengæld når til trin 4 i sin research og stadig ikke kan finde fejl eller mangler ved undersøgelsen, må konklusionen være, at der er tale om en velunderbygget historie med afsæt i en solid analyse. Og dem er der jo heldigvis mange af.
