Usability-test vs. spørgeskemaundersøgelser

Denne artikel tager udgangspunkt i en konkret undersøgelse af en hjemmeside. Undersøgelsen blev gennemført i forsommeren 2005 og byggede på en usability-test og en spørgeskemaundersøgelse. Der blev anvendt to forskellige metoder ud fra et ønske om at få et dækkende billede af brugernes adfærd og ønsker.
Undersøgelsen havde to mål:
1. at finde ud af hvorvidt eksisterende funktioner virker efter hensigten
2. at belyse hvorvidt hjemmesiden rummer det rette indhold, og om brugerne på den baggrund er overordnet tilfredse og betragter hjemmesiden som et centralt værktøj.
Resultaterne skal bruges til videreudvikling af hjemmesiden.

Usability-test og spørgeskemaundersøgelser adskiller sig fra hinanden på flere grundlæggende punkter, og det forklarer, hvorfor man opnår meget forskellige resultater ved at benytte de to metoder [1].

Som skemaet viser, er de to metoder overordentligt forskellige og bør ikke betragtes som alternativer, man frit kan vælge imellem: Valg af metode afhænger af, hvilken type svar man har brug for. Hvis man mangler input til en designproces - hvad enten det drejer sig om videreudvikling af eksisterende produkt eller udvikling af et nyt - er usability-test absolut den bedste løsning, idet man kan gå i detaljer med opbygning af grænsefladen. Har man brug for at finde ud af, hvad brugerne generelt mener om ens produkt samt få overblik over, hvad de bruger produktet til, er spørgeskemaundersøgelse det rigtige valg.

Dette afsnit sammenfatter de praktiske erfaringer med at kombinere usability-test og spørgeskemaundersøgelse. Den overordnede konklusion er, at det giver store fordele at benytte mere end én metode: de to tilgange til brugerundersøgelse giver hvert sit perspektiv på data, og man kan ikke sige, at det ene verdensbillede er mere sandt eller dækkende end det andet.

• Rækkefølgen på de to aktiviteter er vigtig
  Det anbefales klart, at man udfører usability-test først, hvis man planlægger både test og spørgeskemaundersøgelse. Det skyldes flere ting:
  1. Usability-test giver indblik i brugernes ordbrug mv. Med det som udgangspunkt kan man nemmere formulere forståelige spørgeskemaspørgsmål.
     Eksempel: Usability-testen viste, at mange brugere havde svært ved at bruge en central funktion på hjemmesiden, der forudsætter, at brugeren markerer, hvilken branche han arbejder indenfor. Listen over brancher gav simpelthen ikke mening for brugerne. Fordi dette problem var kendt på forhånd, undlod vi i spørgeskemaet at spørge til branchetilhørsforhold. I stedet indgik der en afkrydsningsliste, hvor brugerne kunne vælge deres speciale direkte uden at tænke på, hvilken branche det hørte til i.
     
  2. Man kan bruge spørgeskemaet til at undersøge, om konklusionerne fra usability-testen holder, når der inddrages en langt større, mere forskelligartet gruppe brugere. Dermed kan begrænsede kvalitative data, understøttes af omfattende kvantitative resultater.
     Eksempel: Usability-testen viste, at flere brugere havde svært ved at foretage søgninger på hjemmesiden. Denne problemstilling understøttes efterfølgende af statistikken, hvor 1/3 af brugerne angiver, at de har problemer med at betjene denne funktion.
     
  3. De svar, der kommer ud af spørgeskemaundersøgelsen, kan være svære at fortolke, hvis man ikke har konkret indsigt i brugernes adfærd fra testen.
     Eksempel: Det fremgår af resultaterne af spørgeskemaundersøgelsen, at 1/3 af brugerne har svært ved at bruge den særlige søgefunktion i systemet. Men man kan ikke ud af dette tal se, hvorfor det er svært at søge. Det kan man imidlertid redegøre for på baggrund af usability-testen, som identificerede tre forskellige, meget grundlæggende problemer med søgeinterfacet.
     
• Der er forskel på resultaterne af de to undersøgelser
  I den konkrete undersøgelse viste forskellene sig på to punkter:
  1. De resultater, der kom ud af usability-testen, er meget fokuserede på betjening af hjemmesiden. Rapporten rummer således en række anbefalinger til funktioner, der med fordel kan justeres for at sikre en problemfri betjening af hjemmesiden.
     Det vigtigste resultat af spørgeskemaundersøgelsen var at skabe fokus på selve dataindholdet på hjemmesiden. Brugerne beklager, at de ting andre brugere har lagt ind i systemet, ikke er af tilstrækkelig høj kvalitet. Dette påvirker deres samlede vurdering af, hvorvidt hjemmesiden er et effektivt værktøj. 
     Denne bemærkelsesværdige forskel i resultatet kan skyldes, at testopgaver er opbygget med fokus på betjening af funktioner og navigation generelt. Selvom testlederen opfordrer test-personen til at give sig tid til at læse indholdet på skærmen, vil denne altid føle et vist pres for at skynde sig. Dermed kommer netop indholdet af de enkelte sider mindre i fokus.
     
  2. Spørgeskemaundersøgelsen giver et bedre indblik i holdninger, end usability-testen gør.
     Både test og spørgeskemaundersøgelse blev gennemført med aktive brugere af hjemmesiden, dvs. personer der havde været logget på hjemmesiden inden for den sidste måned. I forbindelse med usability-testene anførte testpersonerne, at de var interesserede i at bruge hjemmesiden, fordi den er et målrettet og gratis redskab. Selvom de ikke lagde skjul på, at de også benyttede sig af andre hjælpemidler, kan man konkludere, at de havde en positiv vurdering af hjemmesidens potentiale. Langt værre ser det ud, når man kigger på statistikken fra spørgeskemaundersøgelsen: her kan man konstatere, at den ene type af brugere stort set afskriver hjemmesiden som et væsentligt redskab, idet kun 16% betragter den som deres første prioritet.
     Måske skyldes denne forskel, at brugerne svarer mere ærligt, når de ikke sidder over for en testleder, der har berøring med den organisation, der har udarbejdet hjemmesiden.
     
• Nogle resultater kommunikerer bedre end andre
  Tal er mere troværdige og på mange måder nemmere at huske. Det virker simpelthen mere overbevisende at sige "1/3 af alle brugere har problemer med søgefunktionen" end at sige, "en del af de 11 brugere, der deltog i testen, havde svært ved at bruge søgefunktionen" [4]. Spørgeskemaundersøgelser kan normalt generaliseres: man har en større sikkerhed for, at konklusionerne formentlig gælder alle brugere. Ved at kunne læne sig op ad statistikken bliver kvalitativ data pludselig langt nemmere at formidle; når de to metoder kombineres, sendes et signal om autoritet, som det er svært at modsige.
  

1. Dette afsnit bygger på følgende baggrundslitteratur:
   - Alab Dix et.al "Human-computer interaction", Prentice Hall Europe,1998, s. 406-441.
   - Kursusmateriale udarbejdet af UNI•C Statistik & Analyse
   - R. Gunnarson, Göteborg University - Research methodology web site: http://infovoice.se/fou
   
2. Se Jakob Nielsen artikel: Why you only need to test with 5 users
   
3. En almindelig måde at foretage korrektion for skævheder i det indsamlede datamateriale er at sammenligne fordelingen på centrale baggrundsvariable med den kendte fordeling i populationen og herefter korrigere for bortfaldet.
   
4. Det skal dog understreges, at man ikke ved, om antallet af brugere, der har problemer, måske er større end 1/3. Dels er der måske brugere, der har glemt, at de har haft problemer, dels er der brugere, der slet ikke har opdaget, at de har fejlbetjent søgefunktionen.