Spørgeskemaundersøgelser kan være dårlige til IKT-evalueringer

ARTIKLER
21/2002:

Ny forskning viser, at spørgeskemaundersøgelser meget vel kan være den dårligst tænkelige måde at evaluere en skoles eller et amts anvendelse af IKT.

Synspunktet er skrevet af Bill Woods

Det er meget vigtigt at »det virtuelle gymnasium« (og alle de penge der bruges på det) bliver underkastet pålidelige evalueringer. Uden effektive evalueringsredskaber er der en meget stor risiko for, at gymnasiernes uundgåelige prioriteringer kan blive styret af tilfældigheder, tradition, bureaukratiske hensyn eller andet, der ikke tilgodeser dem, det drejer sig om: 1) eleverne og 2) lærerne.
Der er naturligvis ikke nogen, der af ond vilje vil tilsidesætte hensynet til eleverne. Det kan dog ske alligevel, fordi en ny teknologi ikke automatisk finder den bedste anvendelse. Det plejer at være en lang og vanskelig proces at finde frem til den bedste måde at bruge en ny teknologi på. Og denne proces har ingen ende.
Der er nok nogen, der vil sige: »Jo naturligvis skal der evalueres, det er også derfor, der udsendes så mange spørgeskemaer nu om dage, og »det virtuelle gymnasium« bliver faktisk evalueret gennem de mange spørgeskemaer.« Deri ligger også kimen til denne artikel.

En dansker er i front
På verdensplan er en dansker, Jakob Nielsen, helt i front hvad angår IKT-evalueringer. Han har skaffet sig en mindre formue ved på metodisk vis at studere, hvordan mennesker vekselvirker med IKT. Hans og andres forskning viser nemlig at spørgeskemaundersøgelser meget vel kan være den dårligst tænkelige måde at evaluere en skoles eller et amts anvendelser af IKT på.
Jakob Nielsens forskning viser også vejen til mere pålidelige og i de fleste tilfælde billigere evalueringsmetoder, der går under navnet »usability analysis« eller på dansk »nytteanalyser« eller »brugervenlighedsanalyser«. Uanset hvad det skal hedde på dansk, drejer det sig om en analysemetode, der måler, hvordan folk faktisk anvender IKT, og hvad de får ud af det – og ikke hvad de tror, de har fået ud af det.

Hvorfor ikke spørgeskemaer?
Disse nytteanalyser (som beskrives forneden) ligger fint i forlængelse af det, vi som gymnasielærere allerede foretager os. Det er derfor ejendommeligt at opleve den tiltagende brug af den langt mindre pålidelige metode, nemlig spørgeskemaer:
»Hvor mange minutter brugte du på ‘opgave X’ i sidste uge/måned/år?« (Hvem kan huske det?)
»Var ‘forløb X’ tilfredsstillende?« (…tilfredsstillende i forhold til hvad?)
»Var ‘opgave X’ vanskelig?« (Kan man undgå at lade ens selvopfattelse påvirke svaret?)
Det er vanskeligt, grænsende til det umulige – specielt for dem, der ikke har studeret det i dybden – at gennemføre en spørgeskemaundersøgelse, der ikke tester for mange variabler1. Hvis man tester flere end én variabel, vil det jo være umuligt at nå frem til årsagssammenhænge.
Det interessante ved IKT er, at forskningen kan sætte tal på spørgeskemaers vildledning. Erfaringerne er så overbevisende om spørgeskemaers elendighed, at Jakob Nielsen har stemplet sådanne undersøgelser som »voodoo«. Problemet illustreres helt tydeligt gennem følgende test:

1. Man beder forsøgspersonerne om at løse nogle opgaver med en computer. (f.eks. finde frem til bestemte oplysninger).
2. Når forsøgspersonerne er færdige, beder man dem om, at besvare nogle spørgsmål om det, de lige har lavet. (f.eks. »Kunne du uden besvær finde oplysningerne?«)
3. Når svarene var indsamlede, sammenlignede man med et log-program, der havde ‘noteret’ hvert et tryk på tastaturet eller musen. Selv i denne ret simple og ligefremme situation viste svarene at afvige markant fra det, folk rent faktisk havde gjort i deres kommunikation med maskinen.

Derfor betegnelsen »voodoo«2. Betegnelsen synes bestemt ikke at være en overdrivelse, da mange undersøgelser til sammen gav det følgende billede i 1998:
l »Det gennemsnitlige website har 11 ‘usability’ katastrofer (designelementer, der forhindrer brugerne i at gennemføre opgaver, der indgik i en undersøgelse af websitets nytteværdi)
l Brugerne har kun kunnet gennemføre 42% af de opgaver, de blev bedt om at gennemføre. Det er gennemsnittet af en række studier.
l Samtidig er de samme brugeres gennemsnitlige subjektive bedømmelse af de websites, de havde arbejdet med, ‘4,9’ på en skala fra 1-7.«3
Dvs. at gennemsnittet for en lang række undersøgelser viser, at når brugerne kun kan gennemføre langt under halvdelen af de opgaver, de har for, giver deprogrammet alligevel en subjektiv vurdering, der svarer til 9 eller 10 på 13-skalaen! Hvis brugernes subjektive bedømmelser er så langt fra virkeligheden, hvad skal man så?

Nytteanalyser er tættere på virkeligheden
Man skal lave en mere systematisk udgave af noget, gymnasielærerne allerede gør. Når vi skal undervise i et emne, vi har undervist i før, laver vi nemlig om på den nye udgave af forløbet i lyset af elevernes reaktioner fra sidste gang. Det er vores observationer af elevernes faktiske reaktioner første gang vi brugte forløbet, der danner basis for ‘designændringer’ i vores undervisning. Vi er der, og vi er klar over, hvad der sker, og hvad der mangler. På denne måde er hver klasse for os en form for øvelse i en slags nytteanalyse. Hvis ikke vi tilpasser vores undervisning, så den nytter mere og mere, overlever vi ikke længe i jobbet.
Det nye ved nytteanalyser er, at man udnytter afprøvede teknikker, så man er i stand til i løbet af få timer og ved hjælp af få mennesker at afdække langt de fleste problemer i designet af ‘virtuelle’ undervisningsmaterialer. En af disse teknikker er at anvende blot 5 forsøgspersoner4 i 3 omgange (med ændringer i design mellem hver omgang) frem for mange mennesker i en omgang.5 Man kan nemlig spare mange menneskers frustrationer over et program, der ikke »makker ret«, ved at teste programmet på få mennesker.

Fremgangsmåden
Sådan laver man en »nytteanalyse«: Forud for forsøget laves en velovervejet drejebog, der består af egnede opgaver, der skal løses af forsøgspersonerne (helst rigtige elever). Under forsøget laver testlederne notater om det, der virkelig sker, evt. suppleret med videooptagelser eller et log-program, der kan gengive hvert tryk på tastaturet eller musen. Resultaterne opsummeres og indarbejdes i designændringer, og der testes på ny.
Laver man for eksempel en webside (eller flere), der skal indgå i undervisningen, bør man teste. Man kunne tage 3-15 elever6, og bede dem om at løse undervisningsopgaver vha. websiden. Eleverne observeres og alt, hvad de laver, noteres. Notaterne analyseres, og der skrives en rapport. Rapporten munder ud i anbefalinger om, hvordan websiden skal anvendes i undervisningen og/eller i designændringer, så websiden kan fungere mere hensigtsmæssigt. Fordelen ligger i de systematiske iagttagelser og bearbejdelser af det, der faktisk skete, og ikke af det man MENER, der skete.
Der findes en omfattende litteratur om, hvordan man gennemfører disse test og analyser. Et godt sted at starte er www.brugervenlighed.dk, der har den fordel, at det er på dansk. Blandt websites om ‘usability’ på engelsk kan man besøge Jakob Nielsens website, www. useit.com, samt en fin introduktion til emnet, der findes på http://usability.gov/basics/index.html.
Mange vil nok mene at pædagogerne burde være i front, når man skal rydde alle tænkelige hindringer af vejen, for at eleverne umiddelbart kan komme til at forstå selve faget, i stedet for at de skulle bruge tid og kræfter på et program og dettes mærkværdigheder. Kontrollerede observationer af enkelte elever kan hjælpe os godt på vej mod dette mål.

Bill Woods er lektor på Mulernes Legatskole.

TIL TOP

Blad-nr.: 21/2002