Igen selvmål i Dansk Kommunikationsforening
Dansk Kommunikationsforening har for nylig offentliggjort en analyse af, hvordan og hvor meget branchen dokumenterer og måler arbejdet. Rapporten er bekymrende læsning – ikke mindst fordi den på eksemplarisk vis demonstrerer, at der stadig er lang vej til at få løftet kommunikationsbranchen op over kuglerammestadiet, når det gælder kvantitative analyser: Rapporten flopper på elementære krav til en statistisk analyse.
I seneste nummer af Dansk Kommunikationsforenings brancheblad, Kommunikatøren, bliver myten om, at kommunikationsfolk ikke måler deres indsats, angiveligt tilbagevist med afsæt i en 37 sider lang undersøgelse. Pressemeddelelsen med hovedkonklusioner og rapporten i dens fulde længde kan læses her.
Over 75 procent af branchen måler og evaluerer deres kommunikation, kan man med lettelse læse i Kommunikatøren. Men træerne vokser ikke ind i himlen: Den sidste fjerdedel måler ikke værdien af deres arbejde. Hovedsagelig på grund af mangel på ressourcer og på grund af prioriteringer i organisationen (hvilket vel er to sider af samme sag).
Kommunikationsbranchen og kuglerammen
Kommunikationsforeningens fokus på måling og dokumentation i branchen er prisværdigt. Det er generelt problematisk, hvis man – uanset profession – ikke er i stand til at redegøre for effekten af ens arbejde. Det er dog stadig et problem med branchens holdning til måling af kommunikation, at det primære formål er at opnå anerkendelse fra ledelsen eller opdragsgiveren.
Denne uheldige forveksling af mål og midler kan i Europa spores tilbage til de spæde professionaliseringstiltag i PR-branchen for 2-3 årtier siden – og endnu tidligere i USA. Det betyder, at succeskriterierne for kommunikationsarbejdet sjældent er direkte koblet til, hvorvidt indsatsen har en dokumenteret effekt i målgruppen. Så bliver kvaliteten af målearbejdet (for ikke at tale om kommunikationsarbejdet) derefter.
Derfor er det et godt initiativ, når Kommunikationsforeningen med deres undersøgelse har sat sig for at måle, hvordan kommunikationsbranchen måler sin indsats. Men undersøgelsen er mildest talt skuffende læsning, for dybest set siger rapporten ingenting. Der er en masse tal og fine tabeller. Det ligner statistik, men det er det ikke.
Statistik … eller noget
Det er ikke, fordi jeg har sat næsen op efter en videnskabelig afhandling. Jeg har ingen problemer med at se forskellen mellem teori og praksis. Så for at undgå at blive skudt i skoene, at min kritik er ”akademisk” (hvilket synes at være et nyt skældsord her på Kforum): Statistisk signifikans er der, eller er der ikke – eller sagt på en anden måde: En stikprøves resultater afspejler enten sandsynlige træk i totalpopulationen, eller også er de tilfældige.
Hvor højt man skal placere barren for at godtage resultaterne, kan variere. I videnskabelige sammenhænge har man accepteret et niveau med 5 procents tilfældighed. En undersøgelse, som skal bruges i praksis, bliver ikke meget ringere af, at tilfældigheden er lidt større – om end der nødvendigvis må være en øvre grænse.
For at kunne fastlægge en grænse, og i det hele taget sige noget kvalificeret om stikprøven, må man have en ide om størrelsen på totalpopulationen. Allerede her går det galt for Kommunikationsforeningens undersøgelse. Selve rapporten gør sig ingen overvejelser derom. I pressemateriale og foreningens eget blad henvises til ”kommunikationsfolk” og ”landets kommunikationsafdelinger” generelt. Hvor mange det bliver i alt, gisnes der ikke engang om.
Til gengæld kan jeg på baggrund af rapporten og pressematerialet regne ud, at undersøgelsen er baseret på et panel bestående af 284 deltagere. Om de er tilfældigt udvalgte eller ej, meldes der ikke om. Men det er de næppe, for det er et velkendt fænomen, at personer, som melder sig til paneler, ofte er forskellige fra gennemsnittet. Til gengæld har kun en fjerdedel svaret – eller delvist svaret – på undersøgelses spørgsmål. Dvs. 71 mennesker. På nogle spørgsmål har kun 18-19 deltagere svaret, og der er, som et gennemgående træk i undersøgelsen, et løbende frafald.
Mål og selvmål
Så hvad kan vi bruge undersøgelsens konklusioner til? Tag f.eks. den fjerdedel, som ikke måler deres indsats, hovedsageligt på grund af manglende prioritering i organisationen. I rapporten er tallet ganske vist 24 procent, men her kan vi godt tilgive journalistens unøjagtighed. Det bliver dog meget værre, for de 24 procent tåler i hvert fald ikke sammenligning med pressemeddelelsens konstatering af, at ”1/3 ikke måler kommunikation, fordi de mangler ressourcer, eller det ikke er prioriteret i organisationen”. Selv på en meget dårlig kugleramme har jeg svært ved at få 25 procent til at blive en tredjedel.
Men hvad gemmer der sig bag procenterne? Bag de 24 procent står 17 deltageres svar – dvs. at 17 mennesker ikke måler kommunikation. Ud af disse svarer 54 procent, at det skyldes manglende prioritering i organisationen. Andre 54 procent (men naturligvis ikke helt andre, da svarprocenten er på 141) svarer, at det skyldes manglende tid og ressourcer. Bag de 54 procent gemmer sig 9 besvarelser.
Vi er nede på nogenlunde samme lave tal, når Kommunikatøren konstaterer ”en generel tendens til, at det er svært at definere kriterierne for at måle effekterne af visse grene inden for kommunikation”.
Det er åbenlyst, at resultaterne af undersøgelsen ikke kan brugs til noget som helst. Der er ingen tendenser, ingenting at basere konklusioner på. Der er kort sagt ingen statistik, men 37 sider med noget, der ligner. Til gengæld kan jeg helt uden brug af statistik konkludere, at helt nøjagtig én dansk kommunikationsforening har alvorlige problemer med målinger. Det ligner en måling. Men det er et selvmål.
Disclaimer
Jeg har intet som helst statistisk belæg for min indledningsvise påstand om, at kommunikationsbranchen stadig har det svært med kvantitative målinger. Det er en erfaringsbaseret og subjektiv antagelse, dvs. hverken baseret på statistik eller det, der ligner.
