Viden med værdi - dit faglige forspring
10.4

Måling er ikke for amatører

I begyndelsen af Anden Verdenskrig så det sort ud for de allierede. Tyskerne rykkede frem med stor hast på alle fronter. I luften fejede de al modstand til side. De allierede led store tab af både fly og piloter. Spørgsmålet var, hvor længe der skulle gå, før de allierede måtte opgive modstanden. Først skulle alle muligheder for at vende successen, dog forsøges. En idé var, at de allierede kunne stoppe de store tab i luftkrigen ved at tykne flyenes armering, så de var bedre beskyttet mod tysk beskydning. Under krigen var der ikke langt fra tanke til handling. Først blev alle tilbagevendte fly analyseret. 

Og konklusionen var klar: Der var system i, hvor flyene blev ramt. De allierede besluttede derfor at forbedre armeringen de steder, hvor flyene havde mange skudhuller.

Som udgangspunkt er det fornuftigt at basere vigtige beslutninger på målinger og data, men de allieredes planer om at armere flyene de steder, hvor der var flest skudhuller, blev heldigvis stoppet af den østrigske statistiker Abraham Wald. Walds indsigt var, at fordi de allierede kun havde mulighed for at analysere de fly, der vendte tilbage til England, havde de et misvisende datagrundlag.

De fly, der var blevet ramt de sårbare steder, vendte aldrig tilbage til England. Den rigtige beslutning iflg. Wald var derfor at armere flyene netop der, hvor de tilbagevendte fly ikke var blevet ramt. (Mangel & Samaniego, 1984)

Vi vil her fremhæve to ting, som vi kan lære af den her historie:

Beslutninger baseret på data er ikke nødvendigvis gode beslutninger

For det første, at beslutninger baseret på data ikke nødvendigvis er gode beslutninger. De fleste organisationer i dag hylder i dag princippet om, at beslutninger bør baseres på data. Alt for ofte ser vi, at det drastisk undervurderes, hvor store krav det stiller til designet, udførelsen, fortolkningen og kommunikationen af målingen. 

For det andet, er konsekvenserne af en dårlig måling potentielt enormt skadelige. Det er med andre ord ikke en “good enough”-logik, der gælder. Selv – på overfladen – mindre vigtige designfejl kan medføre, at man konkluderer det forkerte og – ligesom de allierede næsten gjorde – træffer forkerte og potentielt meget dårlige beslutninger.

Effekterne er skadelige

I dag bruges målinger som grundlag for strategiske og taktiske beslutninger, KPI’er, bonus og meget andet, men alt for ofte ser vi, at målingerne gør mere skade end gavn, fordi målingen designes, udføres, fortolkes eller kommunikeres forkert.

Som en af vores kunder sagde: “Måling er ikke for amatører”. Vi vil derfor også argumentere for at professionalisere måleprocessen internt i organisationer.

Måling er ikke for amatører

Det er ikke vores hensigt at opsummere den omfattende litteratur om målinger. Vi vil heller ikke skrive en fuldstændig guide til, hvordan målinger skal gennemføres. Vi vil i stedet beskrive de problemer og udfordringer, vi oftest ser i organisationers arbejde med målinger samt give nogle anbefalinger til, hvordan disse bedst muligt kan imødegås.

Figur 1: Målingens faser

1. | Design

Første skridt til at designe målingen korrekt er at sikre, at den både måler noget relevant, og at den får alle relevante dimensioner med. Der er særligt to forhold, man skal være opmærksom på i den forbindelse: Om designet er balanceret, og om designet er tilstrækkeligt godt specificeret.

Ubalancerede målinger – roden til alt ondt?

I deres bog om “Balanced Scorecard” (Kaplan & Norton, 1998) argumenterer de for, at målingen af en virksomheds performance ikke udelukkende skal fokusere på finansielle mål, men også indarbejde målinger af de interne processer, læring og vækst, samt hvordan man fremstår over for kunderne. Pointen er, at man herved både får et nuanceret datagrundlag at måle performance og træffe beslutninger ud fra, samt at man øger fokus på de ikke-finansielle mål. I dag benytter mange virksomheder Balanced Scorecard eller lignende værktøjer (se f.eks. Bukh, Frederiksen & Hegaard, 2000), men desværre bliver idéen om balancerede målinger ofte ikke taget med videre, når målingerne skal designes og udføres i den virkelige verden.

Eksempel: En stabsfunktion i en stor multinational virksomhed ønskede, som en del af deres scorecard, at måle, hvor god en service de leverede til den øvrige forretning. Nu kan “god service” være svært at måle, og de havde derfor etableret en KPI baseret på en kontinuerlig måling af, hvor hurtigt kunden blev hjulpet som en indikator for den gode service. Denne KPI havde været grøn i lang tid, men alligevel scorede afdelingen ofte meget dårligt, når de en gang hvert halve år målte deres kundetilfredshed ved hjælp af et spørgeskema.

Eksemplet viser en dårligt designet måling, fordi den ikke tager højde for, at god service har andre dimensioner, end hvor hurtigt man bliver hjulpet. Det kunne f.eks. være den kvalitet i hjælpen, som kunden oplever. Målingen er med andre ord “unbalanced”. Effekterne af en sådan ubalanceret måling er potentielt skadelige, fordi målene styrer medarbejdernes adfærd. Når stabsfunktionen kun måler på hastighed, så flytter det medarbejdernes fokus over mod hastighed på bekostning af kvalitet – ikke mindst hvis den enkelte medarbejders performanceevaluering og løn afhænger af målingen.

For at undgå uhensigtsmæssige effekter som denne er det helt centralt at definere, hvad man egentlig mener med f.eks. god service og derefter splitte det op i de enkelte dimensioner (f.eks. hastighed, venlighed og rigtigheden af svarene der gives til kunden) og sørger for at måle på alle dem, man vurderer, er vigtige. Hvis ikke man meningsfuldt kan måle alle de dimensioner, der er vigtige, bør man overveje, om man overhovedet bør lave målingen – særligt hvis man planlægger at bruge målingen som beslutningsgrundlag. Derudover kan det ofte også betale sig at overveje, hvilke af dimensionerne der er vigtigst og således også vægte dem efter, hvor meget de skal påvirke en given beslutning eller KPI.

De tre vigtigste fejlkilder

Figur 2: Eksempel på opsplitning i dimensioner

Specificering af designet

Målinger bruges ofte til at få viden om, hvordan noget fungerer, og hvilke årsag- og virkningssammenhænge, der er på spil. Så snart man ønsker at undersøge årsag-virkningssammenhænge, bliver målingen væsentligt mere kompleks, idet man også bliver nødt til at kontrollere, at de effekter, man måler, ikke skyldes andre faktorer.

Eksempel: En global produktionsvirksomhed ville benchmarke kvalitetssituationen på tværs af deres fabrikker. Dette gjorde de ved at sammenligne antallet af en række kvalitetsproblemer, der var registreret på de enkelte fabrikker.

Hertil og ikke længere...

Denne artikels fulde indhold er forbeholdt vores betalende kunder. Prøv Børsen Ledelse i en måned til 65 kr. inkl. moms.

Kontakt mig venligst angående Børsen Ledelse

Markedsføring & Kommunikation

JA TAK, kontakt mig

 Jeg vil gerne blive klogere på Børsen Ledelse.