Irriterende, irrelevante eller fejlagtige spørgsmål

Erfaringer og statistiske overvejelser bag vores multiple choice-spørgsmål kan afhjælpe frustrationer

Hvorfor kan nogle spørgsmål virke irriterende?

Nogle personer synes, at nogle spørgsmål kan være tvetydige eller formuleret som trick-spørgsmål. Vi forsøger ikke på bevidst at snyde nogen – tværtimod. Vi ønsker, at vores spørgsmål er så realistiske og fair som muligt. Men for at multiple choice-metoden har værdi, skal alle svar være lige sandsynlige. Kunsten er at lave de sandsynlige, men forkerte svarmuligheder, uden at det bliver for kompliceret.

Når svarene er lige sandsynlige, kan en respondent uden de rette kompetencer ikke gennemskue eller gætte sig til det rigtige svar. Målet er, at den kompetente respondent skal bestå, og at den inkompetente respondent ikke skal. Her er et par eksempler, som kan illustrere vigtigheden af lige sandsynlige svar:

 

Det rigtige svar er åbenlyst, og de fleste vil kunne gætte sig frem til det. Altså er spørgsmålet ikke meget værd, når vi taler måling og dokumentation af kompetencer.


For at kunne svare rigtigt på dette spørgsmål, kræver det, at man faktisk ved noget om emnet. Det er altså et godt multiple choice-spørgsmål, hvor alle svar er sandsynlige for den, som ikke ved noget om emnet.

* Se de rigtige svar nederst på siden

 

Hvorfor skal jeg svare på spørgsmål, der ikke er relevante?

I forbindelse med en offentlig regulering og krav om certificering og dokumentation skal spørgsmålene dække lovgivningen. Det kan betyde, at respondenten kan opleve, at nogle spørgsmål ikke er relevante. Vi forsøger at finde en balance mellem kravene i lovgivningen, pengeinstitutternes ønske om af have medarbejdere med et stærkt faglig fundament, og at testene ikke må tage for lang tid.

Vi udvikler spørgsmålene i samarbejde med sektoren og afstemmer dem løbende med både respondenter og fagansvarlige, fordi det er vigtigt for os, at spørgsmålene er så praksisnære og relevante for den, der svarer, som muligt. Spørgsmålene skal passe til en hverdag, hvor systemer understøtter rådgivningen, men også sikre, at rådgiveren kan sit håndværk. Lige så vel som piloten, der normalt flyver med autopilot, også skal kunne flyve manuelt. Nogle gange kan argumentationen, for at spørgsmålene ikke er relevante, være, at ”det bruger vi ikke i dagligdagen”. Men måske er årsagen til, at det ikke bruges i dagligdagen netop, at respondenten ikke ved, at det er relevant.
 

Hvad gør jeg, hvis jeg finder en fejl eller undrer mig over et spørgsmål?

Vi har arbejdet med multiple choice-spørgsmål i mange år på FU og har løbende fået luset ud i typiske fejl. Men vi tager fortsat imod alle gode input fra respondenter, som falder over en mulig fejl eller undrer sig over et spørgsmål. Enhver henvendelse håndterer vi så hurtigt som muligt og retter spørgsmålene til løbende. Det er med til at kvalificere vores spørgsmål.

Så tag endelig fat i os, hvis du finder en fejl eller undrer dig over et spørgsmål: info@finansudd.dk 
 

Hvordan sikrer vi den rigtige sværhedsgrad i spørgsmål og svar?

Efter en periode i drift gennemgår vi alle besvarelserne på en test ud fra et statisk grundlag for at sikre os, at alle svarmuligheder bliver benyttet og dermed er sandsynlige. Analysen viser også, om et spørgsmål har den rigtige sværhedsgrad. 

Hvorfor består man ved netop 70%?

Statistikere har regnet på, hvordan vi øger sandsynligheden for, at den kompetente rådgiver består, og at en rådgiver uden de rette kompetencer ikke gør det. Konklusionen er en beståelsessats på 70% ved fire lige sandsynlige svar.

 

* De rigtige svar på spørgsmålene oven for er: 'Æbler' og 'Belle de Boskoop'