En undersøgelse viser …
En ny undersøgelse viser, at medierne slipper rigtig dårligt fra at formidle resultaterne af dette venstre hånds gravearbejde. Kriterierne for god journalistik aktiveres ikke, læserne lades i stikken og fiktive fortolkninger breder sig fra forsiderne til uddybende artikler med forklaringer på og kommentarer til ikke-begivenheder - og derfra ofte til andre medier, der giver uvirkelighedsskruen nok en omdrejning.

Resultater

1. I mediernes formidling af egne og andres undersøgelser af virkeligheden
   er hovedreglen, at der ikke er information nok til, at læseren kan vurdere
   holdbarheden af konklusionerne: undersøgelsernes grundlæggende karakter omtales
   ikke; der er for få absolutte tal, og de væsentlige usikkerhedsskabende forhold
   og den statistiske usikkerhed omtales ikke.


2. Når det er muligt at vurdere konklusionerne, er hovedparten af artikler
   og indslag uvederhæftige og lever ikke op til de normale standarder for seriøse
   medier: resultaterne fremstilles som absolutte sandheder og ikke som usikre
   estimater, der trækkes uholdbare konklusioner om forskelle, kildekritikken
   svigter, og andre kilder inddrages sjældent.


3. Uvederhæftigheden vokser med den spredningen af resultaterne i mediernes
   fødekæde. Manglen på egen indsats og kildekritik i fødekæden er pinagtig beskeden.


4. Der står en sky af fiktion fra denne del af mediernes formidling af 'virkeligheden'.


5. En-undersøgelse-viser journalistikken formidler en medieskabt uvirkelighed,
   den snyder læserne, politikerne og andre medier - formodentlig fordi journalisterne
   til en start snyder sig selv.


6. Der er undtagelser, men hovedkonklusionen er, at der er talte om useriøs,
   dårlig journalistik, der formidler et tvivlsomt, oftest fejlagtigt billede
   af virkeligheden.

Forklaringer
Som de mest sandsynlige forklaringer på denne elendighed nævner undersøgelsen

1. mediernes tyrkertro på at ændringer er bedre nyheder end ingen ændringer
   
2. mediernes villighed til at trække konklusioner i forside-rubrik størrelse
   fra tal, som ingen forsker, beslutningstager i erhvervslivet og professionel
   analytiker vil drømme om at tage notits af


3. at i forbindelse med kvantitative stikprøveundersøgelser ved medierne ikke,
   hvad de har med at gøre og lader sig dominere af en overdreven respekt for
   analyse-, forsknings- og undersøgelsesresultater, der kan udtrykkes i tal


4. at journalisterne formodentlig bærer på en erindring om noget statistik,
   man aldrig rigtig forstod, fordi man blev spist af med teori, der ikke blev
   oversat til, hvordan man klarer sig i en kvantitativ verden


5. en manglende forståelse af, at man lander på herrens mark, hvis man ikke
   kender og respekterer en metodes præmisser, og af at pragmatiske holdninger
   til spillereglerne for kvantitative undersøgelser er meningsløse, fordi man
   kun ved, hvad det er for en virkelighed, man frembringer, hvis spillereglerne
   overholdes.

Undersøgelse og undersøgelse
Nå ja, undersøgelse og undersøgelse. Mere præcist har jeg lavet et materiale om “at klare sig i en kvantitativ verden” og derfor fået ændret års hovedrysten til en bevidst vurdering af en-undersøgelse-viser genren.
Hovedresultaterne fra min “eksplorative” undersøgelse af mediernes formidling af meningsmålinger dækker et kompliceret område med mange kvalitetsniveauer, mange dimensioner, mange forklaringer og mange konsekvenser. Forhåbentlig bliver der lejlighed til uddybelse og til en mere nuanceret beskrivelse af mediernes synder i sammenhængen og til en diskussion af, hvordan redaktionerne får udviklet denne del af nyhedsjournalistikken.
For det forvandler hø til hakkelse, når medierne i denne sammenhæng snyder sig selv og dermed andre og skaber det, vi for 30 år siden kaldte falsk bevidsthed. Jeg er nødt til at tro, at det starter med, at medierne snyder sig selv, og at det ‘kun’ drejer sig om manglende indsigt i stofområdet. Der er gode forklaringer (ikke undskyldninger) i den journalistiske arbejdsproces, i mediernes produktionsmåde og i samarbejdet med analysebureauerne. Men uvirkeligheden bliver ikke mindre af de gode forklaringer og slet ikke af at spille sorteper videre til analysebureauerne. Deres arbejde kan have forskellig kvalitet, men som hovedregel overholder de det nødvendige sæt spilleregler. Det er forståelsen hos brugerne af analyserne, der er noget i vejen med.

Som forudsætning for at genetablere denne journalistiske genre er det nødvendigt at forstå den gennemslagskraft, som resultater fra kvantitative undersøgelser har og at forstå, hvad der sker med resultater og konklusioner i mediernes fødekæde. Det er nødvendigt at fastlægge de nødvendige informationer i faktaboksen, for at den journalistiske dokumentation er i orden og at klarlægge indholdet af journalistisk hæderlighed, kvalitet og etik i en-analyse-viser journalistikken; det er særdeles nødvendigt at diskutere den snigende udbredelse af netanalyser, der er et kedeligt kapitel for sig - og det er lige så nødvendig som kedeligt at finde ud af, hvordan nuværende og kommende journalister lærer at klare sig i en kvantitativ verde.

Eksempler
Stedet er kun til nogle få eksempler. De dækker langt fra hele synderegisteret i forhold til spillereglerne for kvantitative undersøgelser og standarderne for god nyhedsjournalistik. Det er min påstand, at eksemplerne er typiske, og at de udbygget og lagt sammen med en række andre eksempler berettiger de hårde generaliseringer om den manglende kvalitet af en-undersøgelse-viser journalistikken.

Det ikke er eksempler på medier, der gør det dårligere end andre, måske snarere tværtimod. De mest åbne, ærlige og informative artikler er lettest at bruge som illustrationer.

Vælgertilslutning i TV 2 Nyhederne, 1.02. (www.TV2.dk), i Information 2.2., Børsen 11.1. og Jyllands-Posten 20.1:
De mange traditionelle målinger af partiernes vælgertilslutning viser normalt ingen ændringer. Det gode spørgsmål er, om medierne vil nøjes med at meddele seere, lyttere og læsere det eller vil spinde en ende over ikke-begivenhederne.

TV 2 følger normen ved ikke at informere om fremgangsmåden ved indsamling af data, herunder specielt om der er tale om panel- eller ad hoc undersøgelser, hvilket har betydning for sammenligningen med tidligere målinger. Der er ingen information om frafald m.m.

“I tvivl” + “Ønsker ikke at svare” er samlet til 13%. I undersøgelsessammenhæng svarer det til at lægge æbler og bananer sammen. “Antal adspurgte” oplyses, men det er uklart, om partiernes tilslutning er beregnet med eller uden de 13%.

Det giver et overdrevent indtryk af præcision at anføre resultaterne med én decimal.

“Dansk Folkeparti står nu langt svagere end ved valget” skriver TV 2. Dagen efter videregav Information meningsmålingen. For Dansk Folkeparti er der nu tale om “ en mærkbar tilbagegang i forhold til valget”.

Fakta:
Tilbagegangen for DF er ca. 0,5% større end den statistiske usikkerhed på målingen. Det er ikke seriøst at tale om tilbagegang. Pilen peger i den retning, men “langt svagere” og “mærkbar tilbagegang” er blændværk. - Det er kun sandt, hvis den målte tilslutning på 9,5% (12% ved valget) er udtryk for den sande værdi i populationen, og det er den ikke. Det er et estimat på den sande værdi, der med 95% sandsynlighed ligger inden for 7,5% og 11,5%. - Meget mere kedeligt, men til gengæld sandt.

Information noterer Socialdemokratiet (29,7%) for en “mærkbar stigning …” i forhold til valget (29,1%). Det er ikke hæderligt at beskrive virkeligheden på den måde ud fra tallene.

Og sådan kan man blive ved. Venstre er nok størst, men “suverænt størst” er en overdrivelse på kanten til usandhed, når stikprøveusikkerheden på undersøgelsens estimater principielt åbner for, at A kunne være størst i virkeligheden!

TV 2 har formodentlig selv troet på, at “Kristeligt Folkeparti er med 1,6% lige nu under spærregrænsen”. Andre har måske også troet på det, men kun Vorherre ved det. Usikkerheden er lige så stor som vælgertilslutningen.

Isen bliver tyndere under de, der tro, at 9,9 er mere end 9,1, når der sammenlignes med den forrige meningsmåling. - “Begge målinger efter valget viser tilbagegang for partiet [Konservativt Folkeparti]”. Den kedelige sandhed er, at en ændring fra 8,9% i december til 8,5% i januar absolut ikke betyder noget som helst ud fra den anvendte metodes spilleregler.

I Børsen 11.1.02 “Stormer Venstre frem” [til 34,7% fra 33.3% i forrige undersøgelse og 31,3% ved valget]. Det er ren fantasi, men politikerne kommenterer gerne. I Internetavisen Jyllands-Posten 20.01.02 er der ingen mulighed for at vurdere artiklens konklusioner, men alt tyder på, at de er lige så holdbare som i Børsen og TV 2 Nyhederne. Men derfor kan en valgforsker godt forklare ændringerne i eventyrland.

“Stormet frem” og “suverænt størst” er ikke bare milde overdrivelser eller banale stramninger for at fremme forståelsen. Det er ikke “Blæsevejr skaber trafikkaos” modellen, når virkeligheden er, at de seneste ugers megen blæst medfører, at lysreguleringerne flere gange dagligt svigter i Århus. Nej, det er “Blæsevejr skaber trafikkaos” modellen, hvis de svigtende trafiklys skyldes fugtighed eller manglende vedligeholdelse, og det i øvrigt først og fremmest sker om natten.

Det er på flere måder en fuldstændig håbløs kritik. Dokumentation og kildekritik kræver flere informationer (der kan bringes i meget kort form), men den eneste seriøse konklusion ud fra spillereglene for denne form for virkelighedsbeskrivelse er, at der ikke er forskelle mellem valgsresultatet og estimaterne fra de to stikprøver eller mellem resultaterne fra de to stikprøver indbyrdes.

Det er jo et magert udbytte for den, der betaler. Vil medierne formidle den mest seriøse ‘virkelighed’ som nyhed? Eller synes de, det er rimeligt at vurdere håndboldlandsholdets indsats uden hensyn til håndboldreglerne?

Holdninger til udlændinge i Jyllands-Postens artikel 24.1. “Mindre tolerance over for udlændinge“, i Information 25.2. og P1 28.1.

Jyllands-Postens artikel er et eksempel på en af de rigtig slemme, både når det gælder klare fejl, udeladelser og helt uholdbare konklusioner om ’virkeligheden’. Pladsen er ikke til den nødvendige beskrivelse og omfattende kritik.

Jyllands-Postens analysebureau har lavet et “tolerancebarometer” i 2000, 2001 og 2002. I artiklen står fx, at “svarene i år viser et tilbageskridt for tolerancen” og “Næsten uanset hvilken situation danskerne bliver bedt om at forholde sig til, er der tale om et fald i tolerancen i forhold til for et år siden”.

Kendsgerningen er, at sådan kan man ikke ræsonnere, selv om et 2002-tal er større end i 2001, og kun for seks ud af de 16 opstillede dimensioner er det ud fra spillereglerne rimeligt at tale om en forskydning i retning af mindre tolerance. Tager man den citerede ekspert udsagn om at se på længere forløb alvorligt og sammenligner med 2000, går det helt galt.

Fødekæden går i gang den 25.1., hvor dagbladet Information i sin forsideleder citerer den ene situation, hvor tolerencetallet er steget fra 2001 til 2002. Informations beskrivelse er ren fiktion.

Den 28.1. fortalte P1’s Nyhedsmagasin om “tolerencebarometeret”. P1 udøver ingen kildekritik og lader lytterne helt i stikken. En konsulent fra Jyllands-Postens analysebureau får lov at belægge sin påstand om, at det især står galt til i forbindelse med religiøse symboler ved at citere det lave tal for den anvendte skalas kraftigste positive toleranceudtryk, hvor Jyllands-Postens og P1’s øvrige tal er summen af de tre skalatrin, der indebærer mindst tolerance. - Sådan.

Men hvad skal vi stille op? Hvis man ikke har lært at klare sig i en kvantitativ verden, er det ikke nogen let opgave at forholde sig til og kommentere tallene i Jyllands-Posten den 24.1.02 og at sikre læserne og lytterne anstændig, kildekritisk information, Skal vi blive ved at fortælle hinanden sjove historier?