Kan du spørre deg fram til sannheten?

Et av de store utfordringene innen markedsundersøkelser, er å finne ut noe som er sant. 

Når du skal gjennomføre en markedsundersøkelse, så kan du som tidligere nevnt i denne bloggen satse på enten et kvalitativt opplegg eller et kvantitativt. En kvalitativ undersøkelse tar sikte på å utdype en problemstilling, men har ikke som mål å finne ut hvor utbredt et fenomen er.

Den kvantitative tvert imot - den søker å sette tall på fenomener, og vil måle utbredelse, likheter, ulikheter og sammenhenger. Akkurat samme fenomen kan undersøkes på begge måtene - kvalitativt eller kvantitativt - hva du ønsker å finne ut avgjør.

Vi kan illustrere dette med et eksempel. Du vil undersøke snusbruk hos ungdom. Da vil en kvalitativ undersøkelse kunne være å samle noen eksperter for å finne ut om ungdomstiden når snusingen ofte starter. Du kan finne ut litt om ulike holdninger som finnes til snus, og undersøke når snusing skjer og liknende. Man forsøker å forstå hvordan fenomenet tar seg ut. Man studerer altså selve fenomenet og prøver å skaffe seg en oversikt over dette. Hvor mange som synes snusing er kult, finner man ikke ut. Hvor mange som har prøvd snus en gang, finner man heller ikke ut.

Et kvantitativ undersøkelse derimot forsøker å måle omfang, og finne sammenhenger blant mange svar. En kvalitativ undersøkelse vil for eksempel kunne finne ut at 72% av de som svarer har prøvd snus. 54% har prøvd det flere ganger. Og blant dem som snuser er det 67% gutter. Guttene prøvde snus tidligere enn jentene vi spurte. Tallene her er oppdiktet, men viser eksempler på hvilke typer ting man kan finne ut. For en slik type undersøkelse bør du vite nok om snusing til å kunne formulere gode spørsmål. Du får svar på spørsmålene dine, og det er det. Du finner ikke ut om noe du ikke spør om, selv om det ville kunne vært interessant, om du velger en slik måte å gjøre undersøkelsen din på.

Skjønner du forskjellen? I kvantitative undersøkelser spør vi mange, og finner fram til forskjeller og likheter. Vi finner fram til trekk ved tallene som svarene gir oss. Vi kan telle opp hvor mange som svarer ja på et spørsmål, og finne ut hvor mange av de som var gutt eller jente, eller som var i en spesiell alder, eller slike type ting. Vi kan allikevel bare finne ut om det vi har spurt om. For et kvantitativt opplegg er ment for mange. Derfor er det standardisert før undersøkelsen skjer. Vi lager et spørreskjema, som alle får. Og så ser vi på svarene etterpå.

I en kvalitativ undersøkelse kan vi endre hva vi spør om underveis, og søker ikke antall og prosenter, vi leter etter innsikt, begreper - fenomeners natur.

Nå tenker du kanskje - det må være lettest med et spørreskjema? Da lager man et spørreskjema, og det er det. Gjennomfører en undersøkelse. Så teller man opp etterpå - og vips! Sannheten.

Er det så greit? - dessverre ikke. Det er mulig å gjøre mange dumme ting i en undersøkelse, som lurer en til å tro på feil tall etterpå. I markedsføringen skal vi bruke markedsundersøkelsene til å planlegge aktiviteter - aktiviteter som ofte koster haugevis av kroner. Vi ønsker å sikre oss ved å ha så god informasjon på forhånd som mulig. Vi prøver å unngå feil i tallene vi får fram; Derfor: noen feller man bør prøve å unngå å gå i kommer nå.

Spørsmålene

Når du stiller et spørsmål - må du ha nokså klart for deg at der spørsmålet gir deg svar på det du ønsker. Et eksempel på at ikke dette er selvfølgelig: Spørsmålet "Er du en snuser?". Hva gir det svar på? Om man har snuset en gang, to ganger? At man har prøvd og så regner seg som en snuser? At man snuser daglig? Med andre ord - nokså uklart hva spørsmålet egentlig måler. Det er mulig å tolke det ulikt. En som snuser hver dag, men som ikke ser på seg selv som en snuser, fordi man skal slutte med det snart vil kunne svare nei. Eller en som snuser, uten å være fornøyd med det selv, vil kunne svare nei, for å "pynte litt" på sannheten? En annen som har dårlig samvittighet for at hun eller han har prøvd det en gang kan svare ja.

Et eksempel til - spørsmålet: Er du ofte fraværende fra skolen? En som er det, vil kanskje mene nei, en del, men ikke ofte. En annen, som kanskje ikke er mye borte fra skolen, vil ha lavt fravær, men har kanskje vært borte tre dager i det siste på grunn av tannlege, kjøretime og forkjølelse. Så ut fra at en vanligvis er lite borte, så er en mye borte - altså blir svaret ja.

Et tredje eksempel - du spørres om du har hørt om "Tannfeens fluortannkrem". Siden du får spørsmålet av en hyggelig intervjuer, så svarer du ja, du har hørt om det, men bruker det ikke - vanligvis. Det blir litt klein stemning av å svare nei, så en hvit løgn - ja.

Når man utformer spørreskjema må man legge vekt på at spørsmålene er klare, og entydige. Med dette prøver vi å få til at vi måler det vi prøver å måle med undersøkelsen. Dette krever at vi har god innsikt i det vi skal undersøke - har vi ikke det, så skaff deg det eller gjennomfør en kvalitativ undersøkelse for å få det.

Denne type vurderinger dreier seg om det vi kaller validitet - det vil si om vi får gyldige svar i forhold til det vi skal måle - om vi måler det vi skal måle altså.

Når vi stiller spørsmål kan disse stilles på mange måter. Man kan stille spørsmål åpent - be om ikke forhåndsdefinerte alternativer. Dette er mer krevende å bearbeide etterpå enn forhåndsdefinerte svaralternativer, som for eksempel:

- ja, nei, vet ikke, eller
- fra 1 til 7 der 1 er dårligst og 7 er best, eller
- fullstendig enig, delvis enig, verken enig eller uenig, delvis uenig, fullstendig uenig

Jo flere du skal undersøke, jo mer strukturert bør opplegget være. Altså du bør ha bestemt alternativer hvis du skal undersøke mange. Ofte ser man til slutt i en undersøkelse at man kan skrive litt fritt. Dette samles opp, men bearbeides mindre systematisk enn tellingen og sammenligningen av ulike svar ellers.

Utvalget

Det andre grunnleggende begrepet vi kan komme skjevt ut med handler om begrepet reliabilitet. Du kjenner kanskje det engelske begrepet ordet er laget av"to rely on" - å stole på. Reliabilitet handler om det - kan man stole på resultatene? Uten at man kan det, blir alt meningsløst med undersøkelsen.

Eksempel - du spør 200 stk om hva de mener om Rema 1000. Du finner ut at 90% har dette som foretrukket butikk. Undersøkelsen ble kanskje gjennomført ved at du spurte endel forbipasserende om dette. Hvis Rema var nærmeste butikk ville det kanskje være rart om ikke de fleste svarte dette? Derfor får du et dårlig bilde av hva byens befolkning synes med et slikt opplegg.

Det kan også tenkes at spørsmålenes rekkefølge får betydning. Hvis du spør om hvilken matvarebutikk foretrekker du? Rema, Bunnpris eller Kiwi. Gir dette i så fall samme svar som hvilke matvarebutikk foretrekker du? Bunnpris, Kiwi, eller Rema. Er du ikke sikker på at disse to gir samme svar, så har du et måleproblem.

En del vil eller kan ikke svare i det hele tatt. Står disse for en spesiell mening blant de du spør? Hvis du spør - har du gode erfaringer med NAV? Kan det da tenkes at de som ikke har det er overrepresentert blant dem som ikke svarer deg? I så fall har du et måleproblem.

Av og til spør man om omtrent det samme i flere spørsmål ulike steder i en undersøkelse. Hvis svarene på like spørsmål ikke har stort sammenfall tyder det på et måleproblem.

Utvalget i seg selv kan få stor betydning for hvilke svar man får. Det finnes mange måter å sette sammen et utvalg på. Vi snakker i undersøkelser om et utvalg som noen av alle de vi teoretisk kunne spurt. Ofte kaller man alle man kunne svart for universet, og de man spør for populasjon eller univers.

Hvis vi spør om trafikkatferd for eksempel, så kan vi ikke spørre alle som kjører bil eller motorsykkel. Kanskje avgrenser vi oss til bilistene. Også dette er et meget stort tall over 1,7 millioner mennesker. I 2010 var det i følge Statistisk sentralbyrå 775 696 menn og 948 405 kvinner som hadde førerkort klasse B, bil. Du skjønner kanskje at det er vanskelig å spørre alle.

Vi foretar derfor vanligvis et utvalg, i håp om at noen disse svarer slik at de gir oss et bilde av hvordan alle ville svart. La oss si vi sier at vi kan spørre 1000. Fortsatt mange, men mer håndterlig allikevel. Da ønsker vi kanskje at vi skal komme fram til noenlunde samme resultat som om vi spurte alle. Når vi setter sammen utvalget bør da utvalget bestå av ca 450 menn og 550 kvinner, fordi det gjenspeiler fordelingen slik den er? Vi prøver altså å skape et utvalg som likner på alle vi kunne spurt, slik at svarene skal bli så like som mulig som om man foretok undersøkelsen på alle. Klikk og studér statistikken og sjekk om det er flere ting vi burde forsøke å ta hensyn til, hvis vi skulle sette sammen et brukbart utvalg. Hva med for eksempel alder?

I tillegg - hvor skal vi få tak i folk? Hvor får du tak i 450 menn som svarer noenlunde slik den norske befolkningen, og 550 kvinner? Vi har to valg. Enten kan vi lage et opplegg for tilfeldig utvalg, eller vi kan lage et opplegg for ikke-tilfeldige utvalg.

Tilfeldige utvalg kan gjøres på mange måter. Du kan for eksempel ringe til tilfeldige mennesker, ulike steder og så spørre om de har førerkort og kjønn og alder - og motta svar til du har 450 menn og 550 kvinner. Dette koster deg litt over 1000 samtaler og bryderiet med å finne 1000 tilfeldige telefonnummer.

Velger du ikke-tilfeldige utvalg, så omfatter dette også mange måter å gjøre det på. Du kan få folk til å velge ut seg selv. De som er lettest tilgjengelig spørres. Spørreskjema utenfor en butikk er et eksempel på dette.

Du har kanskje sett på TV hvor folk ringer inn og stemmer på hva de mener om en sak? Dette er også et eksempel på en måte å foreta et utvalg - en dårlig måte! De som ringer inn er bare de som har sterke meninger om en sak - ikke den jevne befolkning. Derfor kan man få helt "ville" svar på spørsmål som dette. De er ofte foretatt for å skape oppmerksomhet om TV-kanalen. Sannhetsmessig er slike undersøkelser "søppel", men de kan være underholdende og vise noen strømninger blant folk, men altså heller ikke mer.

Undersøkeren
Din egen nøytralitet som undersøker er også et svakhetspunkt i en undersøkelse. Hvis du vil bevise at noe er sant med å gjennomføre en undersøkelse, så er du i faresonen for å gjennomføre en dårlig undersøkelse. Tenk over det. En god undersøkelse skal få fram svar, og skal gi like muligheter både for å bekrefte eller avkrefte noe, både i datainnsamling og i måten vi bearbeider tallene etterpå.

Spørreundersøkelse som metode

Den kjente samfunnsforskeren Johan Galtung uttalte seg kritisk til spørreundersøkelser ut fra noen prinsippielle vurderinger av dette. Dette var omtrent følgende (fritt gjengitt og kommentert):

Først: Spørreundersøkelsene undersøker deg som individ, ikke som del av en sosial struktur. Handlingene dine er ikke slik. Det er altså ikke samsvar mellom livet ditt som leves i en sosial sammenheng og dine individuelle svar.

Dernest: Metoden er for demokratisk. I virkeligheten teller ikke alle personer likt. Noen er viktigere for meningsdannelse for eksempel, noen setter trender, noen er tidligere ute enn andre, noen styres i sterkere grad av andre. Dette er vanskelig å se i en spørreundersøkelse hvor et svar er et svar.

For det tredje: Spørreundersøkelser er statisk. Du får svar på ett tidspunkt. Verden er ikke statisk, ting utvikler seg og går i bølger. Dette er vanskelig, men ikke umulig å fange opp. Du kan for eksempel gjennomføre samme undersøkelse på flere tidspunkt og se på forskjeller. Da vil du kunne fange opp slikt, men det er mer krevende.

For det fjerde og sist - Spørreundersøkelser forutsetter samsvar mellom ord (det den som svarer velger) og tanke (det den som svarer tenker), og mellom ord og handling. Det er ikke alltid tilfelle at det er noe godt samsvar, som jeg allerede har vært inne på. Man kan misforstå, mistolke, svare feil, bløffe eller "pynte litt på sannheten".

Tolking av svar

Etter at data er samlet inn, må data tolkes og analyseres. Den som undersøker skal forsøke å ta stilling til det andre har svart. Her ligger det feilkilder. Du kan misforstå, og dine tanker kan styre hva du ser. Hvis du ønsker å finne visse trekk, så kan du finne disse og overse det du ikke leter etter. Det er som tidligere nevnt viktig å være bevisst på å prøve å være så åpen og objektiv som mulig, når man driver med undersøkelser.

So what? - bør vi ikke bruke spørreundersøkelse da?

Er ikke spørreundersøkelser noe man bør satse på da, tenker du kanskje etter å ha lest det over? Jo, du kan godt gjennomføre en spørreundersøkelse. Det er mange som gjør det. Det er en metode som kan brukes, men prøv å ta hensyn til og tenk igjennom mulige feil, så unngår du kanskje mange av dem. Og - tenk kritisk over tall du får presentert. Tall virker ofte sterkt på oss - selv om tallene er tvilsomme. Tenk gjennom det!