|
Sådan tjekker du troværdigheden i en undersøgelse
Når tallene lyver

Mediernes brug af analyser er steget konstant i flere år. Ikke mindst på grund af mulighederne for hurtigt at foretage befolkningsundersøgelser via web og mobile enheder. Fra tid til anden dukker der så sager op, hvor analyserne bliver taget op til kritisk eftersyn – og dumper.
”36% af danskerne mener…”, ”Et flertal går nu ind for…”, ”Fire ud af fem forældre…”. Befolkningsundersøgelser og analyser indgår i et konstant spil, hvor journalister på den ene side elsker historier, der bygger på nye tal. Og på den anden side konstant er på vagt over for at blive spændt for en vogn og nogle vinkler, som ikke kan bære, når det kommer til stykket.
 
Analyser bruges i alle mulige sammenhænge. Som presse-/PR-krog, som grundlag for kommunikationsstrategier, marketing, kundekommunikation, kampagner, evaluering etc. Og det gør de, fordi data og tal er et ekstremt stærkt grundlag for nyheder og historier. Et tal kan bruges som en kraftfuld illustration eller støtte til det budskab, man gerne vil ud med. Men hvad hvis man ikke kan stole på de analyser, man får forelagt? Hvis det viser sig, at de tal, resultater og konklusioner, som bliver præsenteret, er unøjagtige eller decideret uden hold i virkeligheden?
 
Data og tal er et ekstremt stærkt grundlag for nyheder og historier. Men hvad hvis de ikke er korrekte? Kilde: Gettyimages.
 
Psykiatrifondens undersøgelse
For to uger siden lancerede Psykiatrifonden en stort opsat kampagne, som gav omtale i Politiken, Berlingske, BT, på TV2.dk og i TV 2 NEWS med overskrifter som ”Hver anden danske forælder laver ikke daglige aktiviteter med deres børn”. Baggrunden for kampagnen var en analyse lavet for Psykiatrifonden med 1.400 respondenter. Reaktionerne fra eksperter, forældre og Psykiatrifonden selv var forfærdede og forargede.
 
Problemet? Det passede ikke. TV 2 Nyhederne tjekkede firmaet bag analysen og fandt uregelmæssigheder. Store uregelmæssigheder faktisk – så store, at man kunne så berettiget tvivl om, om undersøgelsen overhovedet var blevet lavet. Psykiatrifonden bad om dokumentation fra analysefirmaet, det kunne firmaet ikke levere.
 
Psykiatrifonden så ikke anden udvej end at stoppe samarbejdet, trække undersøgelsen tilbage (sammen med flere andre undersøgelser fra samme firma) og bremse alle kommunikationstiltag baseret på undersøgelsen. Også BUPL har efterfølgende trukket flere undersøgelser lavet af samme analysefirma tilbage, og Diabetesforeningen har taget samme skridt.
 
Har du været sammen med dit barn i dag? Psykiatrifondens undersøgelse lavet af Corcom, viste foruroligende resultater. Problemet var, at det ikke var sandt. Kilde: Polfoto/ Anders Birch.  
 
Brug tal alligevel
Konklusion: Kæmpe skade på organisationernes troværdighed og underminering af deres muligheder for senere at trænge igennem med deres budskaber. Dertil en generelt øget mistro fra journalister, beslutningstagere og befolkning til analyser og fakta. Altså en lige højre til alle, der bringer tal og analyser ind i den offentlige debat.
 
Eller hvad? Skal enkelte brodne kar virkelig være grund nok til ikke at anvende tal, analyser og data i samfundsdebatten? Mit svar er nej, så i det følgende kommer en trin-for-trin-guide til, hvordan man kan bedømme, om en analyse er troværdig eller ej. Her kan du læse, hvordan man som modtager tjekker troværdigheden af en undersøgelse og de overskrifter, som kommer ud af den:
 
TRIN 1 – Hold fast i din almindelige, sunde skepsis. Virker analyseresultaterne realistiske? Giver de mening? Hvis ikke kan det så betale sig at kigge nærmere på undersøgelsen og selv tjekke, om den holder vand. Det leder direkte videre til trin 2:
 
TRIN 2 – Gå tallene efter. Hvis det overhovedet er muligt, er det en god ide selv at se kritisk på de fremlagte tal. Overskrifter og vinkler kan være skåret til og bygger måske på udvalgte delresultater, mens andre af undersøgelsens resultater kan være i modstrid (og måske mere interessante…) end de tal, som bærer hovedhistorien.
 
Et andet vigtigt spørgsmål er, om dataindsamlingen er foretaget ved repræsentativ udvælgelse eller ej. Hvis ikke (hvis der f.eks. er tale om en web-poll på et firmas hjemmeside) kan resultaterne nemlig ikke generaliseres til f.eks. den danske befolkning. Nogle gange er denne information dog ikke umiddelbart tilgængelig, og så må man gå videre til trin 3:
 
Lav dit detektivarbejde: Brug din sunde fornuft og gå tallene efter. Stemmer informationerne overens? Kilde: Polfoto/ Nemoto Yenpitsu.
 
TRIN 3 – Søg efter eller spørg ind til baggrundsmaterialet. Nogle gange henvises der direkte til f.eks. samlede rapporter, som ligger til grund for historien. Andre gange må man selv søge efter baggrundsmaterialet eller endda spørge afsenderen om at få lov til f.eks. at se analysens metodiske design, spørgeskema mv. Simpelthen bede om at få baggrundsmaterialet – det, som normalt findes i bilagene og ikke sendes til medierne.
 
Det kan virke som et voldsomt træk (og derfor bør det også kun gøres, hvis man virkelig ikke stoler på analysen…!), men på den anden side bør analysefirmaer være parate til at lade sig kigge efter i kortene, så længe det kan gøres i fortrolighed (det er jo trods alt forretningshemmeligheder og ikke forskning, der er tale om). Hvis man får mulighed for at gå baggrundsmaterialet efter i sømmene, er man gået til trin 4:
 
TRIN 4 – Vær kritisk over for temaer, vinkler og spørgsmålsformuleringer. Især sidstnævnte er ofte kilde til utroværdige tal, ganske enkelt fordi der stilles ledende eller upræcise spørgsmål i undersøgelsen. Dette vil underminere historien, da man ikke længere kan stole på de tal, som ligger bagved. Hvis man til gengæld når til trin 4 i sin research og stadig ikke kan finde fejl eller mangler ved undersøgelsen, må konklusionen være, at der er tale om en velunderbygget historie med afsæt i en solid analyse. Og dem er der jo heldigvis mange af.
 
Så lad nu ikke et enkelt eller nogle få brodne kar ødelægge det for de mange gode og solide analyser, som bliver udført – og som rent faktisk bringer ny viden ind i samfundsdebatten. Dårligt udførte analyser kan ødelægge meget, men hvis man ellers gør det ordentligt, kan det altid betale sig at anvende viden og data som udgangspunkt for kommunikationsindsatsen.

 
 

Relaterede artikler

60 ideer til spørgeteknik - At spørge handler ikke kun om at få svar. Den, der mestrer kunsten at spørge rigtigt, kan få ting til at ske. Her er ...
Spørgsmål journalisterne burde stille - Jeg har længe arbejdet på at sætte fokus på danske politikeres problematiske udenomssvar. Men når samtaler mellem politi...
Hvordan har medierne det anno 2015? - En ny storstilet undersøgelse stiller skarpt på en række af de mest brændende spørgsmål for journalistikken og nyhedsmed...
Velkommen til Kommentariets diktatur - Valget kommer snart. Hvilke kommentatorer skal du vælge at læse? Dem, der kan udlægge, hvad DONG-sagen, dagpenge, valgda...
Alt om politik og samfund - Du kender Lars og Helle ud og ind, men du kan også både navn og politisk ståsted på europæiske og amerikanske politikere...
Støj viralt, Støjberg - Her forholder vi os ikke til, om det er en god eller dårlig ide at indrykke annoncer til flygtninge - kun om man ud fra ...
Når researcheren sidder med ved middagsbordet - De kendte kvalitative metoder er hver for sig slet ikke er i stand til at indfange den dynamik og kompleksitet som forbr...
Rid med på den næste bølge - Strategisk kommunikation har traditionelt haft fokus på planlægning: Analyser af organisationens situation i forhold til...
Når k-strategien ligger langt fra forretningsmålene - Hver fjerde kommunikatør angiver, at deres kommunikationsstrategi ikke understøtter virksomhedens forretningsmæssige mål...

Giv din stemme

9 stemmer
4,4/5

Kommentarer

Få nyhedsbrev

Kursus

Kom godt i gang med mobilvideo

Kurset er udsolgt - tilmeld dig hvis du vil på venteliste

Se alle Bliv klogere

Få nyhedsbrev

Job

Kommunikationschef

Frist: 21. juli

Teamleder

Frist: 13. august

Studentermedhjælper

Frist: 17. august
Se alle job Indryk job

Netværk

Kommunikatører

Gruppen er udsolgt - venteliste

Se alle Læs mere

Tilmeld dig i juli og få 10% rabat

Tag med til K-dag eller bliv en del af et fagligt K-netværk

Bliv klogere

Vi bruger cookies for at give dig en bedre brugeroplevelse.