Brugertest

Teoretisk baggrund:

En brugertest, også kaldet ”tænke-højt-test” har til formål:

• At klarlægge om brugeren forstår navigations og informationsstrukturen
• At teste om brugeren kan gennemføre et muligt tænkt scenario ud fra en spørgeguide
• At teste om opbygningen, flowet og terminologien er logisk for brugeren.

Brugertesten kan i kombination med f.eks. efterfølgende interviews afdække forhold omkring hjemmesiden, branding eller andre kvalitative forhold og brugertilfredshed. Metoden giver endvidere mulighed for direkte at observere brugeren interaktion med hjemmesiden via mus, retoriske og motoriske reaktioner.

Styrker:

• Præcis i problemafdækning i forbindelse med konkrete øvelser
• Kan afdække problemer man ikke har været opmærksom på
• Man ser direkte, hvordan informanten interagerer med hjemmesiden.

Svagheder:

• Det kan være dyrt mht. udstyr
• Udstyret kan distrahere informanten
• Tidskrævende
• Testen er til en vis grad udynamisk. Den viser brugervenligheden af de ting, der er på hjemmesiden, men viser ikke, om informanten rent faktisk ønsker en anden funktionalitet, information eller lignende.

Metoden:

Vi har valgt at teste på ingeniører, samt ingeniørstuderende som alle har en teknisk/matematisk forståelse af det at arbejde med pumper.

Resultatet

Indledende spørgsmål

Ingen af informanterne havde tidligere brugt CAPS. Generelt var det e-mails, arbejds- og skole-relateret informationssøgning, samt diverse nyheder som informanterne brugte Internettet til.

5 af de 7 adspurgt brugte 4-10 timer ugentligt, 2 af informanterne brugte dog  30+ om ugen.

Generelt var det primært i forbindelse med arbejde de brugte Internettet.

Dvs. at de alle informanterne var fortrolige med at bruge Internettet som et redskab til at søge informationer med.

Informanternes engelske var mellem brugsniveau og godt, dog var der en enkelt som snakkede mindre godt engelsk. Spørgsmålet var medtaget med henblik på at teste CAPS, der mange steder indeholder engelske fraser og gloser. Da vi bad informanterne om at beskrive deres engelsk kundskab på en skala fra fra 1-4, kan vi ud fra gennemsnittet på 2,5, konkludere at der altså ligger en del af vores testpersoner der formentlig ville støde på problemer i deres arbejde med CAPS.

Alle testpersoner er Windows-brugere med Internet Explorer som browser.

Vi har som kontrolspørgsmål spurgt informanterne både før og efter eksponering af CAPS, om de ville benytte CAPS, hvis de skulle søge informationer om pumper. 71 % sagde ja før, mens kun 57 % sagde ja efter.

Synlighed

For næsten halvdelen af informanterne var det meget svært at finde CAPS og 30 % måtte have hjælp til at finde linket. Dette på trods af at det lå lige for næsen af dem. På nedenstående billede kan man se hvor få, eller ingen, der i eyetracking[1] testen ser WebCAPS linket.

Førstehåndsindtryk

Da CAPS blev åbnet spurgte hvad det første var de lagde mærke til. De fleste nævnte ikonmenuen som det første og topmenuen som det andet, men ingen nævnte søgefeltet, hvilket umiddelbart ikke stemmer overens med nedenstående eyetracking-test[2]. Dette kan forklares ved, at det kan være svært at sige, hvor man først kigger hen på siden, men lettere kan sige, hvor blikket bliver hængende.

Det er også muligt at flere har lagt mærke til søgefeltet, men måske beskriver de det som værende en del af topmenuen.

Alt i alt kan man sige brugernes fokus var rettet mod de områder, der er vigtige for at bruge CAPS.

Formål

Kun én bruger siger helt præcist, hvad formålet med CAPS er, idet han oversætter og læser forkortelsen af CAPS. De fleste er dog inde på at man kan se informationer om deres produkter, hvilket man jo også kan, men siden kommunikerer ikke godt nok hvad den skal bruges til.

For førstegangsbrugere er det rart at blive guidet og have klar ide om hvad CAPS kan. Det er især vigtigt for WebCAPS at kommunikere deres formål ordentligt ud, da den eneste umiddelbare tilgængelige information ligger på Grundfos hjemmeside, hvorfor man kan formode at førstegangsbrugere har sparsomt kendskab til siden.

Som WebCAPS er nu kan man kun finde sidens indhold på selve WebCAPS. Søgemaskiner kan ikke finde undersider da CAPS åbner som pop-up. I google får man, ved en søgning på WebCAPS, følgende information på den første side der bliver fundet:

”In WebCAPS you can:

• Make your selection from our extensive product catalogue,
• Choose a replacement for an installed circulator pump from our 50/60 Hz replacement list,
  or
• Search on product information by typing in a known product number in the product search window”

Hvilket jo som sådan er vældig god information – bortset fra at det er på Engelsk.

Case
Næsten halvdelen af informanterne klarede at finde en pumpe som forventet, mens den anden halvdel hhv. havde svært ved at finde en pumpe eller måtte modtage hjælp for at finde den. Informanterne fandt desuden frem til forskellige pumper i og med at de var tvunget til at indtaste et ”flow”[3] for pumpen. Her prøvede de med forskellige flowstørrelser og resultaterne blev derfor forskellige. Dette medførte at flere informanter var i tvivl om de havde fundet den rigtige pumpe. Alle var i tvivl om hvordan CAPS fandt frem til pumperne. De 2 brugere, der ledte i alternativerne var yderligere i tvivl om hvilke kriterier CAPS havde fundet dem ud fra.

I gennemsnit var informanterne ca. 10 minutter om at finde en pumpe, hvilket svarer godt overens med de udtalelser Grundfos tidligere har fået fra ingeniører, da de blev spurgt om, hvor lang tid de havde til at finde en pumpe.

Til trods for brugertesten viste at hele 85 % vidste hvad begrebet dimensionering dækker over, forsøgte 85 % af informanterne, til at starte med, at finde pumpen via menupunktet ”Katalog”.

I de efterfølgende opgaver var det tydeligt at usikkerheden blev båret med videre i de efterfølgende opgaver.

Udskriv pumpedata
Mange af informanterne valgte at udskrive direkte fra oversigten over indtastninger. Her klikkede de Udskriv/ PDF , hvorefter pop-up killeren lukkede vinduet straks. Nogle af de erfarne Internetbrugere opdagede dog dette, men andre troede at knappen enten ikke virkede eller at den var i gang med at udskrive. Hvis moderator ikke havde været behjælpelig med at slå pop-up killeren fra, havde 4 ud 7 informanter ikke kunnet printe deres pumpedata ud. Faktisk var det 5 ud af 7, men en af informanterne valgte at kopiere teksten direkte over i Word og udskrive derfra – og det tæller jo også. Herefter fandt alle det let at udskrive.

I de efterfølgende opgaver har moderator slået pop-up killeren fra.

Find servicevideoen til pumpen

Generelt forsøgte informanterne at lede efter servicevideoen i ”oversigten over indtastninger”[4] eller i ikonmenuen i toppen af pop-up vinduet med pumpens informationer. De finder dog alle pånær én hen til servicevideoen, hvor alle må konstatere at WebCAPS ikke har gemt deres pumpeoplysninger. De må derfor gennemføre dimensionering atter for at finde deres pumpe, og så enten skrive pumpens navn ned eller kopiere navnet med Ctrl-c. Usmart i forhold til systemets muligheder.

En enkelt informant var dog så forudseende, at han kopierede navnet på pumpen inden han gik til servicevideoen.

Andet problem opstår, da de skal finde servicevideoen fra listen eller via søgefeltet. Ingen af informanterne formåede at finde servicevideoen.

Informanterne forveksler næsten konsekvent produktnummer og pumpenavn. Desuden troede en informant at han kunne indtaste pumpenavnet under menupunktet ”Service”, og herfra søge sig frem til servicevideoen ved at klikke på knappen ”servicevideo”, som er placeret ved siden af søgefeltet.

En enkelt bruger oplevede endda at han ikke kunne se videoerne, da han ikke havde Windows Media player installeret.

Under opgaven ”find servicevideoen” observerede vi desuden de første tilgængelighedsproblemer, da en informant ikke kunne benytte de indbyggede browserfunktioner. Informanten sad konsekvent med hånden på backspace-knappen, og når han brugte den forsvandt siden med følgende fejlmeddelelse; Warning, page has expired.

Allerede her valgte flere informanter af lægge hånden på telefonen.

Se videoen i fuldskærm og vend tilbage til normal skærm
Da ingen informanter kunne finde deres servicevideo bad vi dem vælge en tilfældig video. Med undtagelse af en enkelt informant, kunne de alle finde ud af at se den i fuld skærm og tilbage igen, ved enten at bruge Esc eller at dobbeltklikke på filmen. Informanternes adfærd virkede generelt overbevisende og de udviste ingen tøven. Den informant der ikke løste opgaven var også den ældste, og samtidig den der brugte mindst tid på Internettet om ugen, hvilket kan forklare en del af problemet.

En informant blev desuden eksponeret for den uheldige oplevelse at den valgte video blev helt grøn og billedet blev vendt på hovedet.

På dette tidspunkt har flere af informanterne nået grænsen. Vi observerer både irritation, tegn på at ville opgive, uoverskuelighed og stress. Symptomerne er bandeord, koncentrationsbesvær, de gnider hænderne i hovedet, leder i blinde i stedet for systematisk, samt at de går fra en fremlænet positur til en tilbagelænet positur. Igennem brugertesten lægger informanterne oftere og oftere hånden på telefonen. Dette påvirker deres vilje og evne til at udføre handlinger igennem den resterende del af testen.

Opret dig som bruger

Informanterne er ret enige om at trykke på ”log på”. Herefter trykker 71 % på linket, ”Hvor skal jeg registreres”, for blot at konstatere at indholdet af det efterfølgende pop-up vindue ikke stemmer overens med linket. De går herefter tilbage og finder det rette link og opretter sig som brugere. Testens yngste og ældste informant valgte helt at opgive.

Her er et 5 citater fra informanterne under løsningen af denne opgave:

” Det er jo fordelene det der, det er noget lort”

” Det er vildledende”

” Det forstår jeg ikke”

” Det er svært at finde”

” Mærkeligt at der står, hvor skal jeg registreres”

Find pumpen via søgefeltet på forsiden

Igen er der flere der søger på pumpenavnet i stedet for produktnummeret. Faktisk lykkedes det kun en enkelt informant at finde sin pumpe via søgefeltet.

Informanterne har altså igennem opgaveforløbet flere gange haft brug for pumpedataen til forskellige formål og nogle har gået hele vejen igennem dimensionering og finde deres pumpe igen. Nogle endda helt op til 3 gange.

Find installationsinstruktionerne til pumpen
Kort sagt står problemerne her i kø. Pumpenavn og produktnummer forveksles og informanterne kan ikke finde deres pumpe via mappestrukturen i venstre side. Yderligere forsøger informanterne at finde installationsinstruktionerne under både Katalog, Service og Udskiftning. Desuden tror en informant at de 10 linier med installationsoplysninger, som fremkommer i ”Dimensionering ” i ”oversigten over indtastninger”, er alt den pumpedata der er at finde.

Dog klarede en bruger denne opgave hurtigt og let. Resten opgav.

Find CAD tegninger til pumpen
Her testede vi om informanten kunne finde tegningen til sin pumpe, og om vedkommende kunne åbne filen. 50 % fejler i opgaven med at finde pumpetegningerne frem. Informanterne klikkede desuden på de oversigtstegninger, der fremkommer når man trykker på menupunktet ”CAD tegninger”.

Flere informanter efterspurgte et søgefelt, hvor de kunne indtaste pumpens navn eller nummer.

3 ud af 6 informanter havde den fornødne software installeret til at kunne åbne tegningerne. 2 kommenterer at filen er zipped, men finder dog ud af at åbne den. En informant forstår ikke hvorfor der er flere tegninger og en anden er ikke sikker på det er de rigtige tegninger, og ville endvidere have ringet for at være sikker.

Afsluttende spørgsmål
Da informanterne blev bedt om at tegne Grundfos logoet, blev der at flere af informanterne forsøgt at tegne WebCAPS logoet. Dvs. at der altså er del forvirring omkring Grundfos logo og motto i informanternes bevidsthed.

Hvad syntes du er godt ved siden:

• Den er professionel og mange informationsmuligheder
• Det er nogle behagelige farver
• Det er godt at man vel kan finde alle produkter
• Det er noget fedt indhold, især videoerne
• Den fungerer fint og så er det fedt at man kan se CAD tegninger
• Pæn gruppering, fint med de små film. Unødvendigt med et levende indtryk, glad for en fast menu. Dog mangler der Mouse Over på ikonerne mange steder.
• Dimensioneringen er ret god.
  
  

Af dårlige ting om CAPS og forslag til forbedringer nævnte informanterne følgende:

• Der skal være bedre søgemuligheder
• Forklaringer til begreber og fag ord mangler
• Der mangler informationer om kategorierne
• Det kræver for meget kendskab til pumper at bruge siden
• Den er rodet og overskuelig
• Den pumpe man har fundet skal kunne følge én med rundt på siden, så man ikke skal finde den hver gang.
• Den er svær at finde rundt på, man skal have været bruger nogle gange
• Det ville være smart, hvis oplysningerne om pumpen var samlet ét sted
• Log-in funktionen er virkelig dårlig
• Man kan ikke søge på undersiderne
• Man kan ikke søge på alle siderne
• Det dårligste var at man ikke kunne se servicevideoerne
• Generel mangelfuld information, så jeg ved ikke om jeg fandt den rigtige pumpe
• Man mister sine pumpedata når man surfer på siden
• Der må gerne være nogle priser
• Jeg mangler en vejledning
• Der mangler en søgerfunktion
• Det virker inkonsekvent med brugen af pumpenavn og produktnummer

Informanterne havde generelt den holdning at CAPS var henvendt til ingeniører og håndværkere.
42 % ville anbefale WebCAPS til en kollega, hvis snakken gik på pumper.

[1] http://www.itu.dk/people/mbj/eyetracking/heatmaps.pdf

[2] http://www.itu.dk/people/mbj/eyetracking/heatmaps.pdf

[3] En af de to tidligere benævnte afgørende værdier der skal indtastes. ”Flow” er den mængde væske der skal strømme igennem pumpen over et givet tidsrum

[4] ”Oversigten over indtastninger” er data på en given pumpe fundet ved dimensionering i WebCAPS.

[5] Grundfos Corporate presentation 2004, slide 6: ”Aim-to strenghten partnership by expanding our electronic services”

[6] Citat Lars Larsen Chef for WebCAPS-afdelingen ”…i kan kalkulere med 4 mio. til et sådan projekt.”