Test og certificering - sådan gør vi på FU

Det handler om at finde den rette balance, når vi laver test til at dokumentere lovgivningens krav. På den ene side skal løsningerne leve op til lovgivningen, og på den anden side skal de være så overkommelige og fleksible for virksomhederne som muligt.

Ligesom med alt andet arbejder vi systematisk og grundigt med vores test.

Metoden bag vores test og målinger er læringsmål og multiple choice-spørgsmål.

Statistikere har regnet på tid og test-størrelser for at sikre alt fra validitet til reliabilitet i vores test. På den måde ønsker vi at optimere sandsynligheden for, at den kompetente deltager består, og at den inkompetente faktisk dumper.

Målet er samtidig, at indholdet ligger så tæt på deltagernes hverdag som muligt, og at resultaterne viser et reelt billede af deres kompetencer.

En brugervenlig motor

Deltagerne gennemfører som udgangspunkt test via VidenBarometer® – et system med stor vægt på brugervenlighed.
Det betyder, at deltageren kan starte sin test via et link i en tilsendt mail, og at HR og ledere til hver en tid har et godt overblik over alle medarbejdere via dashboard og rapporter.

Tag fat i os, hvis I ønsker at gennemføre vores test via jeres egne systemer.

Multiple choice-spørgsmål

Multiple choice-metoden har kun værdi, når alle svar er lige sandsynlige. Kunsten er at lave de sandsynlige, men forkerte svarmuligheder, uden at det bliver for kompliceret.

Når svarene er lige sandsynlige, kan en respondent uden de rette kompetencer ikke gennemskue eller gætte sig til det rigtige svar. Målet er, at den kompetente respondent skal bestå, og at den inkompetente respondent ikke skal.

Få svar på: 

Hvorfor kan nogle spørgsmål virke irriterende?

Hvorfor skal jeg svare på spørgsmål, der ikke er relevante?

Hvad gør jeg, hvis jeg finder en fejl eller undrer mig over et spørgsmål?

Hvordan sikrer I den rigtige sværhedsgrad i spørgsmål og svar?

Hvorfor består man ved netop 70%?

Hvorfor kan nogle spørgsmål virke irriterende?

Nogle spørgsmål kan opfattes som om, de er tvetydige eller formuleret som trick-spørgsmål. Det er ikke intentionen - tværtimod. Vi ønsker, at vores spørgsmål er så realistiske og fair som muligt.

Men for at multiple choice-metoden har værdi, skal alle svar være lige sandsynlige. Kunsten er at lave de sandsynlige, men forkerte svarmuligheder, uden at det bliver for kompliceret.

Når svarene er lige sandsynlige, kan en respondent uden de rette kompetencer ikke gennemskue eller gætte sig til det rigtige svar. Målet er, at den kompetente respondent skal bestå, og at den inkompetente respondent ikke skal. Her er et par eksempler, som kan illustrere vigtigheden af lige sandsynlige svar:

Det rigtige svar er åbenlyst, og de fleste vil kunne gætte sig frem til det. Altså er spørgsmålet ikke meget værd, når vi taler måling og dokumentation af kompetencer.

For at kunne svare rigtigt på dette spørgsmål, kræver det, at man faktisk ved noget om emnet. Det er altså et godt multiple choice-spørgsmål, hvor alle svar er sandsynlige for den, som ikke ved noget om emnet.

^{*Se de rigtige svar nederst på siden}

Hvorfor skal jeg svare på spørgsmål, der ikke er relevante?

I forbindelse med en offentlig regulering og krav om certificering og dokumentation skal spørgsmålene dække lovgivningen.

Det kan betyde, at du opleve, at nogle spørgsmål ikke er relevante. Vi forsøger at finde en balance mellem kravene i lovgivningen, pengeinstitutternes ønske om af have medarbejdere med et stærkt fagligt fundament, og at testene ikke må tage for lang tid.

Vi udvikler spørgsmålene i samarbejde med sektoren og afstemmer dem løbende med både respondenter og fagansvarlige, fordi det er vigtigt for os, at spørgsmålene er så praksisnære og relevante for den, der svarer, som muligt.

Spørgsmålene skal passe til en hverdag, hvor systemer understøtter rådgivningen, men også sikre, at rådgiveren kan sit håndværk. Lige så vel som piloten, der normalt flyver med autopilot, også skal kunne flyve manuelt. Nogle gange kan argumentationen, for at spørgsmålene ikke er relevante, være, at ”det bruger vi ikke i dagligdagen”. Men måske er årsagen til, at det ikke bruges i dagligdagen netop, at respondenten ikke ved, at det er relevant.

Hvad gør jeg, hvis jeg finder en fejl eller undrer mig over et spørgsmål?

Vi tager imod alle gode input fra respondenter, som falder over en mulig fejl eller undrer sig over et spørgsmål. Enhver henvendelse håndterer vi så hurtigt som muligt og retter spørgsmålene til løbende. Det er med til at kvalificere vores spørgsmål.

Så tag endelig fat i os, hvis du finder en fejl eller undrer dig over et spørgsmål: info@finansudd.dk

Hvordan sikrer I den rigtige sværhedsgrad i spørgsmål og svar?

Efter en periode i drift gennemgår vi alle besvarelserne på en test ud fra et statisk grundlag for at sikre os, at alle svarmuligheder bliver benyttet og dermed er sandsynlige. Analysen viser også, om et spørgsmål har den rigtige sværhedsgrad.

Hvorfor består man ved netop 70%?

Statistikere har regnet på, hvordan vi øger sandsynligheden for, at den kompetente rådgiver består, og at en rådgiver uden de rette kompetencer ikke gør det. Konklusionen er en beståelsessats på 70% ved fire lige sandsynlige svar.

En kompetenceafklaring består typisk af tre generelle emner, som har mellem 18-24 læringsmål. Det præcise antal er baseret på en faglig vurdering, som vores fagfolk løbende har med sektoren.

Respondenten har i gennemsnit 1 minut og 36 sekunder pr. spørgsmål (20 spørgsmål svarer til 32 minutter) og 1 forsøg pr. emne.

^{*De rigtige svar på spørgsmålene oven for er: 'Æbler' og 'Belle de Boskoop'}