Skal du lave et spørgeskema?

Så er der her 10 typiske fejl og faldgruber, som du bør undgå at lave. De 10 fejl er ting jeg ofte støder på når jeg bliver bedt om at reviewe og give feedback på andres spørgeskemaer. Det er også min egen tjekliste når jeg bliver udvikler et spørgeskema.

Du kan heldigvis forholdsvis let sikre dig at dit spørgeskema ikke begår nogle af dine 10 fejl – så brug evt. blogindlægget her som en tjekliste inden du sender det næste spørgeskema ud. Så ved du at du har undgået de mest typiske spørgeskemafejl.

Spørgsmålsfejl i dit spørgeskema

1. “Double barreling”

“Double barreling” er når et spørgsmål i et spørgeskema faktisk indeholder to (eller flere) spørgsmål på sammetid. Det er et problem fordi man blander ting sammen, der for respondenterne måske er adskilte.

Det kunne f.eks. være:

“Hvor tilfreds er du med arbejdsmiljøet og lønnen på dit nuværende arbejde”?

Arbejdsmiljø og løn er to forskellige ting. Men spørgsmålet blander dem sammen, hvilket gør spørgsmålet svært at svare på. For hvad nu hvis jeg er utilfreds med arbejdsmiljøet, men synes lønnen er glimrende? Skal jeg så svare i midten af skalaen?

Et andet eksempel på double barreling kunne være:

Hvor enig er du i udsagnet: “Lars Løkke er den bedste statministerkandidat på blå blok, på grund af hans holdninger til topskatten.”

Det er double barreling fordi det blander to ting sammen, som ikke nødvendigvis hænger sammen: at man mener han er den bedste kandidat og at det er på grund af hans holdning til topskat.

Hvis man mener at Lars Løkke er den bedste kandidat, men faktisk er uenig med hans holdninger til topskat – er det svært til umuligt at svare på spørgsmålet.

Sådan undgår du double barreling:

Du kan ofte spotte double barreling når du ser ordene: ‘og‘ eller ‘eller‘ i dit spørgeskema. Du kan ofte løse problemet ved enten at;

• Simplificere: F.eks. så det bare er “Lars Løkke er den bedste kandidat”, uden betingelsen af om det er på grund af hans topskat-holdninger, eller:
• Splitte op: F.eks. så man har ét spørgsmål om arbejdsmiljø og ét nyt spørgsmål om løn.

2. Det usynlige ord “IKKE”

Når du bruger ordet ‘ikke’ i et spørgeskemaspørgsmål skal du være opmærksom på to typiske faldgruber:

1. Ordet ‘ikke’ bliver let overset.
2. Spørgsmålet bliver let over-komplekst.

Det er meget let at overse et lille ord som ikke, særligt hvis du har et spørgeskema med mange spørgsmål. Derfor er det ofte en god idé at bruge ordet ‘ikke’ så lidt som muligt. Og hvis du bruger det, så fremhæv det med fed, understreg eller brug BLOKBOGSTAVER når du skriver dit IKKE.

Men ikke gør ofte sætningen svær at læse, fordi det bliver negativt formuleret.

F.eks.: “Hvor enig er du i at folk ikke burde betale selv for tandlæge?”

Det er noget sværere at læse end hvis vi formulerer det positivt, uden ‘ikke’:

“Hvor enig er du i at tandlæge burde være gratis for alle?”

3. Ledende spørgsmål

Vi kan let ubevidst komme til at formulere os på en måde som leder respondenten i en bestemt retning. Det er et problem da det ubevidst kan påvirke folk til at svare noget som egentligt ikke passer på dem.

F.eks. kan folk have en tendens til at svare det som de føler er det “rigtige” svar (det kalder man også for ‘social desirability bias’).

Et god råd er derfor at kigge efter ord i dit spørgeskema som er emotionelt ladede (positivt eller negativt), eller om dit spørgsmål i sig selv antyder svar i én bestemt retning. Det kunne f.eks. være:

“Hvor glad er du for at arbejde hos [firma]?“

Det spørgsmål antyder i sin formulering at folk er glade – måske fordi man kommer til at antage i sin formulering af spørgsmålet, at folk nok ikke er sure, men blot mere eller mindre glade.

4. Uspecifikke spørgsmål

Nogle gange kan et spørgsmål være ukonkrete i en sådan grad at det kan være svært at vide man skal svare. Den uklarhed vil stoppe nogle respondenter der gerne vil svare nøjagtigt.

Det kan f.eks. være at svare på spørgsmål om hvorvidt man gør noget “ofte“.

Ofte kan betyde mange forskellige ting, alt efter hvem man er. Det kan afholde nogle respondenter fra at svare på spørgsmålet da de ikke føler de har forudsætninger for at svare ærligt og korrekt uden klarere detaljer.

Derfor kan det i nogle tilfælde være en fordel at oversætte de mere vage beskrivelser til noget konkret. F.eks. ved at ændre ‘ofte’, til det tidsinterval vi faktisk tænker på når vis iger ofte – er det dagligt, ugentligt eller månedligt.

Oversætter du til noget mere konkret har det også den fordel at du lettere kan fortolke hvad svarene egentligt betyder. Om 30% gør noget ofte i betydningen dagligt eller ugentligt, er to meget forskellige ting som ordet ‘ofte’ ikke afdækker.

5. Jargon

Spørgeskemaer er ofte skrevet af eksperter, men besvares af lægfolk. Det giver en uheldig skævhed hvor de ord som spørgeskemaet indeholder passer til dem som har skrevet dem, men ikke de som skal udfylde det. Den skævhed kan gøre at der let sniger sig ord og sprog ind i spørgeskemaet, der er uklare for respondenterne.

Derfor;

Kig efter komplekse ord, tekniske begreber, jargon og forkortelser i dit spørgeskema. Er du i tvivl om noget kan forståes er det som regel en god idé at finde et simplere synonym, eller tilføje en forklaring af begrebet.

Uklare eller komplekse spørgsmål truer validiteten af svaret på det spørgsmål som respondenten ikke forstår. Men du risikerer også en mere generel træthed i at udfylde et spørgeskema, jo mere komplekst hvert enkelt spørgsmål er, som kan føre til dårligere svar på alle de spørgsmål der kommer efter de ‘tunge’ formuleringer.

Svarmuligheds-fejl i dit spørgeskema

6. Svarmulighederne er ikke udtømmende

Dine svarmuligheder skal altid være udtømmende, så de rummer alle potentielle svar fra respondenterne. Ellers vil nogle respondenter stå tilbage med svarmuligheder på et spørgsmål, de ikke kan bruge – eller som de er i tvivl om hvordan de skal svare.

En klassisk fejl er at man glemmer at tilføje en “mindre end”, eller “mere end” kategori i en oplistning. Det kunne f.eks. være:

“Hvor længe har du arbejdet hos [firma]?”

A. 1-2 år, B. 3-5 år, C. 5-10 år.

Her mangler mindst to valgmuligheder for at listen er udtømmende:

• Mindre end 1 år
• Mere end 10 år.

Det er utroligt frustrerende som respondent at skule svare på et spørgsmål hvor der ikke er en mulighed som passer til én. Med oplistning som arbejdsanciennitet er det let at spotte, men i andre tilfælde kan man være mere i tvivl.

Er du i tvivl, så er det et godt tip at tilføje en ‘andet’ mulighed for at sikre folk ikke bliver tvunget til at vælge noget de ikke mener.

7. Skævhed i svarmulighederne

Nogle gange kan man komme til at lave skæve svarmuligheder, hvor der er flere positive eller negative svarmuligheder. F.eks.

“Hvor tilfreds er du med din internet hos [XYZ]?

• Meget tilfreds
• Tilfreds
• Lidt tilfreds
• Ikke tilfreds.

Her er der kun én mulighed der indikerer at være utilfreds, men tre der indikerer at man er tilfreds. Skæve svarmuligheder har det med at føre til skæve svar. Derfor, vil der typisk være *kunstigt* flere tilfredse end utilfredse med disse svarmuligheder.

Derfor, hvis du vil have en mere realistisk vurdering af folks holdninger, bør du have lige så mange negative og positive svarmuligheder, f.eks. 2x utilfreds + 2x tilfreds:

• Meget tilfreds
• Tilfreds
• Utilfreds
• Meget utilfreds

8. For lille skala

Svarmuligheder der er på en skala kommer i mange varianter: 0-10, 1-5, 1-7. De kan både være store og de kan være små. Og både små og store skalaer kan være gode alt efter hvad spørgeskemaet handler om og skal bruges til.

Men, der er nogle ulemper ved de små skalaer, som du bør være opmærksom på.

Tag for eksempel en meget lille skala som denne med kun 3 punkter:

“Hvor enig er du i udsagnet: “Min chef er den ideelle leder”

• Enig
• Hverken/eller
• Uenig

Det spørgsmål har formenligt et mere nuanceret svar, hvor 3 punkter ikke er nok. Der er nok kun få som er 100% enige eller uenige i det udsagn, men de nuancer er der ikke plads til i den lille skala.

Det gør det svært at sige helt ja til hverken enig eller uenig. Den lille skala får med andre ord svarmulighederne ‘enig’ og ‘uenig’ til at virke ekstreme. Det fører til den risiko at mange vælger hverken/eller, eller at ingen tør vælge ‘uenig’.

Derfor kan det ofte være en god idé at bruge en støre skala, der tillader flere nuancer i svarene fra respondenerne. Her lavet om til en skala med 7 punkter:

“Hvor enig er du i udsagnet: “Min chef er den ideelle leder”

• Meget enig
• Enig
• Lidt enig
• Hverken/eller
• Lidt uenig
• Uenig
• Meget uenig

Det er flere punkter at forholde sig til som respondent – men skalaen giver også langt bedre mulighed for at svare noget man kan stå inde for. Og det øger også chancen for at nogle tør at indikere noget som er en kritik (flere på uenig).

Derudover har den større skala også den fordel at du får en langt mere nuanceret indsigt i målgruppen. Der er formentligt stor forskel på hvor kritisk et problem du har hvis 25% af en afdeling er lidt eller meget uenige i udsagnet ovenfor. Kun lidt meget uenige er formentligt OK, men meget uenige er givetvis et problem. Den forskel mangler du med den lille skala.

Nb: Der kan være tidspunkter hvor en kortere skala er det rette valg, og den letteste mulighed for respondenterne. En skala kan også blive så stor at folk ikke længere forholder sig til f.eks. punkterne fra 0-10, men simplificerer den og ender med bare at svare i yderpolerne og måske midten.

9. Retningen af dine svarmuligheder

Sørg for at du så vidt muligt benytter den samme “retning” i dine svarmuligheder konsistent igennem spørgeskemaet. Det betyder at hvis ‘uenig’ er til venstre og “enig” til højre, så bliv ved med at give dem de pladser igennem hele spørgeskemaet.

Hvis du bytter plads undervejs risikerer du at dine respondenter overser, og derfor svarer i modsat retning af hvad de tror de gør.

Det kan også gælde mere generelt at hvis de “positive” svar er til højre og de negative svar er til venstre, er det en logik som er lettere at følge hvis den er konsistent igennem spørgeskemaet.

Se for eksempel de her to spørgsmål fra Idrættens analyseinstitut:

I det første spørgsmål (til venstre) er ‘Nej’ placeret nederst.

I det andet spørgsmål (til højre) er ‘Nej’ placeret øverst.

Hvis folk skal svare på mange spørgsmål, eller forsøger at komme hurtigt igennem det – eller bare er uheldig, er der stor chance for at man misser og svarer noget man ikke mener her.

Analyse-fejl af dit spørgeskema

10. Blind tillid til spørgeskemaet som metode

Selvom spørgeskemaet kan være et effektivt redskab til at indsamle data om din målgruppe – er det vigtigt ikke at have en ukritisk, blind tillid til spørgeskemaet som metode og de konklusioner vi får med et spørgeskemaer.

Spørgeskemaer har som alle andre metoder begrænsninger – og i nogle tilfælde er spørgeskemaet slet ikke det rette valg til at undersøge en problemstilling.

Der er mange biases som kan gøre at du ikke får den ‘rene sandhed’ ud af dit spørgeskema. F.eks. kan noget så banalt som det at ændre rækkefølgen på dine spørgsmål påvirke hvilke svar man får (også kendt som ‘kontekst-effekter’).

Selv et stort, repræsentativt spørgeskema der spørg folk om hvorfor de ikke udfører en handling i dag – er kun validt, hvis folk faktisk ved hvorfor de gør som de gør (og er villige til at dele det ærligt med os). Det er der mange eksempler på fra adfærdslitteraturen, at vi har dårligt indsigt i hvorfor vi gør som vi gør.

Derfor er den sidste anbefaling i indlægget her, at du i arbejdet med spørgeskemaer spørger dig selv:

• Er det her egentligt den rette metode – eller burde vi observere, interviewe, teste, kigge efter referenceeksempler i adfærdslitteraturen?
• Er denne konklusion noget vi kun ved fra et spørgeskema, eller kan vi bakke det op med fund fra andre metoder?

Ved at anerkende og kende til de begrænsninger der er ved spørgeskemaer som metode, kan du sikre at dine konklusioner er mere robuste og troværdige.

Vil du have et ekstra sæt analyse-tekniske øjne på dit spørgeskema?

Så send dit udkast forbi mig på hej@davidhvidbak.dk for et spørgeskemareview.

Med et spørgeskemareview får du en grundig gennemgang af dit udkast for de typiske faldgruber og forståelsesproblemer der risikerer at underminere værdien af din analyse. Reviewet giver dig konkrete anbefalinger til forbedringer så du kan optimere og lave det bedst mulige spørgeskema.

Et spørgeskemareview er hurtigt og effektivt. Typisk tager det kun en halv til to dage (alt efter længden på spørgeskemaet naturligvis).