Ansigt til ansigt med en kvantitativ stikprøveundersøgelse

Analyseinstituttet Megafon er i gang med en tilfredshedsundersøgelse for busdriften i hovedstadsområdet som skal løbe over de næste 4 år. En dag kom en sød pige ud på linie 217 mellem Jyllinge og Høje Taastrup med en elektronisk notesblok.

Megafon-pigen var i neutral sort jakke. Og var det ikke fordi hun allerede sad og interviewede den hidtil eneste passager i bussen, ville jeg måske ikke have bemærket det. Men nu vidste jeg det: Jeg var havnet i en kvantitativ spørgeundersøgelse. Snart – måske – ville hun stille mig spørgsmål af en type jeg selv har udsat tusindvis af danskere for i kraft af mit virke som telefoninterviewer!

YES! Vi var knap nået til Hvedstrup før hun havde vendt sig mod mig. Tænk at jeg - fordi jeg tilfældigvis havde sovet over mig - skulle komme til orde i dette formiddags-flow af ældre damer og skyggemennesker som siden skulle indtage bussen mod Høje Taastrup Station. Jeg havde på fornemmelsen at det ville have stor (tilfældig) indvirkning på det samlede analysemateriale på linie 217.

-Det er bare skalaen 1 til 5, ikke?, spurgte jeg pigen taktisk - for at gøre det lidt lettere for hende.
-Nej, man kan svare Meget tilfreds, Tilfreds, Middel, Utilfreds eller Meget utilfreds…!
-Ja, det er det jeg mener. Gå du blot i gang.

4: Utilfreds
-OK. Hvor tilfreds er du med den udvendige rengøring af bussen?
-Middel, svarede jeg (idet jeg fuldstændig glemte at det nogle gange er ekstremt kedeligt at sidde 20 minutter i en vinter-tilsølet bus uden at kunne se ud ad vinduerne). Men pyt, man tænker ikke altid på at tænke sig om når man får stukket så simpelt et spørgsmål.

De simple spørgsmål fulgte herefter hinanden i en fin lille række: indvendige rengøring, ventilationen, chaufførens kørsel, hans opførsel, støjen fra bussen, overholdelsen af køreplanen og cirka lige så mange andre spørgsmål herimellem som lagde sig op ad disse kategorier.

Mine svar lå alle i den sørgelige ende, bortset fra middel til chaufførspørgsmålene. Og som det eneste: ”tilfreds” til overholdelsen af køreplanen! Busserne på linie 217 udmærker sig nemlig ved (i mine øjne) at være grisede og gustne. Den iltfattige fornemmelse af jordpartikler i ventilationssystemet som hvis man sidder i en traktor på markarbejde, er eksempelvis svær at være tilfreds med, ligesom det er temmelig utilfredsstillende at man simpelthen må springe flere af sæderne over hvis man (som jeg) lider af diffus angst overfor voksglinsende pletter og grønne plamager af uforståelig oprindelse. Hvor tit har jeg ikke også set andre passagerer i alle aldre scanne sæderne med et forlegent hurtigt, men sandelig intenst blik.

Personligt invaderet
På den baggrund var det, da vi kørte igennem Sengeløse, interessant med lange ører at høre hvordan bl.a. den ældre dame foran mig forholdt sig til den søde pige med de høflige spørgsmål. Damen lod sig uden tvivl ene og alene stille spørgsmålene fordi intimsfæren (eller ”den personlige nærzone”) allerede var invaderet af den flinke piges forespørgsel:

-Goddag, jeg kommer fra analyseinstituttet Megafon, må jeg stille dig nogle spørgsmål.
-?! - Nå! ….Men hvad er det for noget?
-Det drejer sig om en kvalitetskontrol af busserne…
-???
-…Det tager kun 2-3 minutter.
-Hm mja… det kan jeg vel godt.
-Tak skal du have!

Havde det været et telefoninterview, som er interpersonelt mindre forpligtende, havde hun efter min erfaring så absolut været typen der besvarer en sådan forespørgsel syrligt eller bestemt - med ordene: ”Nej, det har vist ingen interesse”.

Den automatiske høflighed
Det er ikke i sig selv noget problem at man udspørger dette segment af kvinder over 60 med almindelige 7 års skolegang – tværtimod, for man skal selvfølgelig tale med alle grupper kvoteret ud fra alder og geografi i en sådan undersøgelse. Men man skal være klar over at man ved at henvende sig ansigt til ansigt i mange tilfælde blot i forstærket grad stiller spørgsmål til en automatisk udglattende facade.

For der findes efter min bedste overbevisning en type af kvinder, født før krigen, som - lidt karikeret sagt - er opdraget til at servicere og forholde sig udglattende (i hvert fald udenfor hjemmets fire vægge) – og som ikke grundlæggende har omstillet sig til en verden der jævner tilbageholdenhed og generthed med jorden. Det er en type mennesker der opfatter en samtale som vellykket hvis man undgår konflikt, og som i hvert fald ikke er vant til at ”være på” eller forholde sig kritisk. I den modsatte ende af spektret findes f.eks. du, kære læser. Mennesker som er vant til at kommunikere (offentligt) og sige sin mening. Og som er fuldt ud bevidste om at intervieweren i den sorte jakke er uafhængig og - om nogen – revnende ligeglad med hvad du svarer, bare det kan skaleres fra 1-5 i en fart.

Derfor kan vi godt sige ”meget utilfreds” og smile venligt til intervieweren samtidig, akkurat som vi ville gøre gennem en telefon. Men damen foran mig var ikke klar over hvad firmaet ”Megafon” er, og næppe helt fortrolig med det statsagtige ord ”analyseinstitut”. Derfor må hun i bred forstand opfatte interview-pigen som repræsentant for de spørgsmål hun stiller. Og pigen er høflig - det er fornemt at hun overhovedet interesserer sig for hvad damen mener, derfor vil damen gerne være large. De 3 minutters analysespørgsmål er for damen som at bevæge sig ud på åbent vand i en nervøst gyngende båd, og hun tænker først og fremmest på at komme tørskoet i land.

Alle mennesker ligger et sted på dette spekter mellem os og damen foran mig i bussen. I samfundet som helhed er der en stadigt voksende majoritet af selvsikkert kommunikerende mennesker, men på linie 217 må der antages at være en klar majoritet af mennesker for hvem det i større eller mindre grad ville være lettere at sige deres ærlige mening gennem en telefon, hvor de ikke i samme grad behøver at pakke sig ind i misforstået høflighed og opretholde en facade mod offentlighedens projektørlys.

Hvad er ”tilfreds”?
Hvad skal man egentlig stille op med disse svar: ”Jo, det er vel meget godt”, ”Jeg er da meget tilfreds”, ”Jamen det er da også i orden”, ”Jeg er godt tilfreds”, ”Også dét, ja” og ”Åååårse det”.

Tja, en god interviewer forholder sig rutineret til tonefaldet. ”Jeg er da meget tilfreds”, vil således ikke blive til mere end ”Tilfreds”. Kun et engageret tonefald eller en entydigt forstærket formulering vil blive omsat til yderpunkterne på skalaen. Jeg spurgte pigen da vi stod udenfor bussen efter endt rejse, og selv om hun var nybegynder, var det også sådan hun forholdt sig. Men i spændet på midten af skalaen er man i et vist omfang nødt til at tage svarene bogstaveligt fordi det i princippet er forkert at fortolke. Hvor ”jeg er da meget tilfreds” sagtens i nogle tilfælde kunne fortolkes som ligegyldig middel-ytring, må man derfor krydse af i ”tilfreds” - hvilket bogstaveligt talt jo kan være rimeligt nok idet ligeglad jo også er tilfreds.

Hvad er overhovedet forskellen på middel og tilfreds? ”3: middel” er i hvert fald ikke det samme som (alt efter hvordan man vender skalaen) 2 eller 4. Begynder man når statistikken er lavet, at kalde ”tilfreds” for ”over middel” (hvilket er tro mod den matematiske logik), så er der allerede sket et skred. ”Tilfreds” vil jo for mange mennesker være synonym med ”godt nok”, og dét svarer bestemt ikke til ”over middel”. Fortolkes dette endvidere som ”over forventning”, er vi helt ude i hampen. (Og det kommer vi ofte når journalister fortolker en kvantitativ undersøgelse og laver en overskrift som igen indgår i politikeres opfattelse af det eksisterende samfund.)

Det er min erfaring at respondenter der svarer ud fra en imaginær 1-5-skala i deres hoved, svarer meget rent og ikke er så bange for at svare ”4” eller ”5” (negativt). Respondenter som derimod ikke opfatter dette skema, og som derfor tager spørgsmålene én ad gangen, er mere bange for at sige utilfreds flere gange i træk. For det lyder jo meget negativt! Denne effekt mener jeg er betydeligt forstærket face to face i denne tynde ende af befolkningsspektret. Tænk på den ældre dame overfor den søde pige – den søde pige som i dette tilfælde oven i købet selv udstråler uskyldighed og generthed, og dermed blot forstærker høflighedsbarrieren.

Nogle ting er nemmere at kritisere
Jeg mente endvidere i bussen at kunne mærke et hensyn til hvad det er legalt at være negativ overfor, og modsat hvad det er uhørt at brokke sig over. Den ældre dame såvel som alkoholikerne længere fremme i bussen syntes først at bryde op med automat-høfligheden og tænke kritisk da spørgsmålet om bussens overholdelse af køreplanen blev bragt på bane. Mens dette spørgsmål udløste mit eneste positive svar, blev det altså deres mest negative. For det er jo almindeligt – og dermed hverken specielt mærkeligt, specielt uhøfligt eller specielt krævende – at brokke sig over forsinkelser.

Selvfølgelig kan de have en anden mening end jeg, men der er praktisk talt aldrig forsinkelser på linie 217 på mere end 5 minutter. Omvendt må man undre sig over at en kvinde med sandsynligvis solid husholdningsopdragelse og en anden tids kvalitet i rengøring og påpasselighed stiller sig tilfreds med bussens indvendige rengøring. Jeg har meget lettere ved at forestille mig at hun føler sig så fremmedgjort at hun tror det må ligge udenfor hendes indflydelse. Men forsinkelser ved hun dog at det er almindeligt at kommentere.

Kvantitative undersøgelsers kvalitet
Megafons fremgangsmåde er ganske rationel. Ved at gå ud i busserne skal man ikke først sortere sig frem til målgruppen, den sidder endda klar og har intet andet fornuftigt at tage sig til. Herved spares en masse forgæves telefonopringninger til mennesker udenfor målgruppen - og indenfor målgruppen får man færre nægtere. Alt i alt en ekstrem effektivisering af processen – herunder en kæmpe besparelse i timelønninger. Samtidig gererer man kun selve målgruppen og på et ganske lidt generende tidspunkt. Dette er meget ideelt for alle parter. Men man skal vide at en sådan undersøgelse ikke kan bruges til hvad som helst.

Som sagt skal undersøgelsen løbe over 4 år, og det peger på at hoved-hensigten er god nok, nemlig at måle den relative forandring gennem tid som hvis man måler vandets temperatur med fingeren mens man justerer hanerne. Dette er meningen med en kvantitativ undersøgelse, og selv om statistikker ofte udskældes af folkeviddet, så lyver matematikken jo ikke i sig selv. Skaden sker hvis man begynder at forholde sig kvaLitativt til tal og statistik. Og specielt hvis det sker uden opmærksomt hensyn til hvilke kvalitative ord der egentlig blev puttet i funktionsmaskinen i første ende. Her skal de røde lamper blinke som store anførselstegn - og de kan ikke blinke nok. For ord er jo som jeg har vist, lige så lidt eksakte som fingeren er et termometer.

Lederen af undersøgelsen hos Megafon har ikke den store forståelse for mit synspunkt om den varierede grad af tabu for de enkelte spørgsmål. Til gengæld indvilger han i at respondenterne generelt kan være mere positive face to face, hvilket Megafon således er bevidste om. Ikke desto mindre lader han den kvalitative brug af undersøgelsen stå hen i det uvisse. Han kan simpelthen ikke afvise at undersøgelsen vil blive anvendt kvalitativt som hvis man forestiller sig en artikel i Urban med overskriften: ”Passagerer overvejende tilfredse med Københavns busser”.
– ”Det er op til HUR hvordan de anvender analyseresultaterne, vi leverer blot den vare de beder om”, hedder det.

Taget på ordet
Tak skæbne siger jeg så. Det største problem er dog ikke hvad HUR selv får ud af det. For hvad de satser på at forbedre inden for de givne økonomiske rammer, bygger vel på deres bedste anstrengelser for at forstå kundernes ønsker. Og den ældre dame har ikke noget valg, hun kører med bussen som den er. Problemet er snarere hvordan politikeren der kan forårsage den reelle forbedring eller forværring, bruger en sådan overskrift.

Jeg turde ikke spørge om hendes telefonnummer – den ældre dames, altså. Hun nægtede nemlig til slut at fortælle pigen sin alder. (I dén markering var hun på sikker grund – dette var en ”legal” standardiseret afvisning i et for damen hjemmevant og stadig respekteret moral-kodeks.) Det kunne ellers være interessant at følge op med et tilsvarende interview via telefon eller - endnu bedre – på skrift hvor skalaen 1 til 5 ville åbenbare sig klarere, og hvor damen ikke ville føle sig presset af et (ungdommeligt) tempo.

Dette er ikke andet end en samling fordomme og fornemmelser, men de bygger dog på erfaringer fra tusinder af interview med alle typer af danskere. I hvert fald har jeg mindet om at man skal være på vagt overfor udtalelser der bygger på kvantitative analyser, og i bedste fald har jeg peget på hvorfor lige specielt denne. Jeg tror ikke den ældre dame fik sagt sin mening – men jeg tror til gengæld hun vil blive taget på ordet.

Del artikel

Tilmeld dig vores nyhedsbrev

Vær på forkant med udviklingen. Få den nyeste viden fra branchen med vores nyhedsbrev.

Forsiden lige nu

Læs også

Job