Her er ti gode grunner til å tvile på meningsmålingene

Meningsmålinger blir ofte tillagt stor betydning. De blir brukt og misbrukt alt etter som resultatene kan tolkes og tilpasses. Det gjelder ved politiske valg i alminnelighet og ved dette amerikanske valget i særdeleshet. Derfor gjelder det å holde tunga rett i munnen og være klar over følgende ti punkter:

• LES OGSÅ: Trump leder i ny måling
• LES OGSÅ: FBI offentliggjør papirer fra henlagt Bill Clinton-sak

1. Hvem er spurt?

Det såkalte utvalget er viktig. Dess flere dess bedre, og jo mer representativt utvalget er satt sammen, dess mer presist blir resultatet. Ved dette valget i USA er alder, kjønn og rase viktig, sammen med differensiering i bosted – by og land, og gjerne forstad kontra indre bydeler da det sier mye om de sosioøkonomiske forholdene.

Og – ikke minst: Er det «amerikanere» flest som er spurt, er det registrerte velgere eller er det folk som har svart ja på et innledende spørsmål om de faktisk kommer til å avgi stemme.

2. Hvem spør?

Det finnes en rekke meningsmålingsinstitutter. Noen mer vitenskapelige enn andre, noe mer aktivistiske. Noen byråer spør på «egne» vegne, altså av statistiske og vitenskapelige årsaker og er altså noe mer nøytrale. Andre spør på oppdrag fra aktører med egeninteresser i å frembringe et resultat som tjener oppdragsgiverens hensikt.

Det er ikke dermed sagt at meningsmålingsinstitutter er kjøpt og betalt, men det finnes råtne epler i alle kurver, så man må være oppmerksom på hva hensikten med målingen er.

3. Hva er problemstillingen?

Ved USA-valget står det mellom Donald Trump og Hillary Clinton. Spørsmålet: Hvem av dem vil du stemme på pluss-minus er enkelt og lettfattelig. Men libertarianerkandidaten Gary Johnson og De Grønnes Jill Stein kan til sammen ta inntil 10 prosent av stemmene – ifølge enkelte meningsmålinger (som vi må være kritiske til!). Så selv om det rent politisk er et to-parts valg, så vil det rent statistisk være et fireparts race.

Når de to siste kandidatene inkluderes vil den prosentvise fordelingen bli en annen og feilmarginen kan øke, da det er flere valgmuligheter. I Utah er det i tillegg en lokal, meget populær kandidat som kan ta – pluss/minus 25 prosent av stemmene; hvilket forkludrer de nasjonale gjennomsnittsmålingene.

4. Spørsmålets utforming og ordvalg.

Et «kommer du til å» kan oppfattes annerledes enn et «vil du». Et «hvis det var valg i morgen» kan frembringe et annet svar enn «ved valget 8. november». «Hvis valget står mellom ...» kan gi en annen tilbakemelding enn et problemstilling uten å lansere svaralternativer. Vær kritisk!

5. Hvordan ble svarerne kontaktet?

Det meste av slike henvendelser skjer via telefon. Da kan fasttelefon eller mobiltelefon være avgjørende. Sannsynligheten taler for at en eldre bonde på bygda i Midtvesten er mer tilbøyelige til å benytte en fasttelefon enn en ung, svart mann i en av storbyenes indre bydeler.

Nå er ikke meningsmålere «tjukke i hue». Dette er et fag, dette er elementært og dette kan de. I hvert fall de aller fleste. Det er betydelig faglig stolthet i store deler av bransjen. De vet at folk svarer forskjellig om de snakker med et levende menneske enn om de blir satt over til en maskin og avgir svaret sitt – i hemmelighet – til en upersonlig opptager.

6. Hvor høflig er svareren?

Det viser seg nemlig at folk flest er vennlig innstilt. De har en – ubevisst – tendens til å ville svare «riktig». I USA i dag er det, angivelig, mange som mener at det «riktige» svaret, som de tror oppringeren er ute etter, er «Hillary Clinton».

Når Donald Trump betviler enkelte meningsmålinger og snakker om sine «silent supporters» så viser han til de som ikke vil ta den belastningen noen velgere føler at det er, å si Donald Trump, så de svarer altså en ting for å opptre sosialt akseptabelt, men kommer til å avgi et annet – mindre akseptabelt svar – i valglokalet lukkede ensomhet.

7. På hvilket tidspunkt ble spørsmålet stilt?

Det kan godt være at svaret – i øyeblikket – er ærlig og korrekt. Der og da. Men at svareren ble revet med av en eller annen utenforliggende episode, og svarte mens han eller hun var påvirket av denne hendelsen.

Det kan være en rystende nyhet som f.eks. Trumps griseprat eller gjenåpningen av etterforskningen mot Clintons e-post bruk. Da avgis avret i en form for affekt. Dagens før eller to dager senere vil effekten ha gitt seg, og det kunne ha blitt et annet svar.

8. Gjennomsnittsmålinger

I USA gjennomføres presidentvalget som 50 uavhengige valg. Et gjennomsnitt kan altså ha akademisk interesse, men sier ikke – nødvendigvis – så mye om summen av de 50 uavhengige valgene. I år 2000 fikk Al Gore flest stemmer, men George W. Bush vant valget.

I USA er det viktigere hvor du får stemmene enn hvor mange stemmer du får til sammen. Det som teller er altså den enkelte stat, og det kommer ikke frem i gjennomsnittsmålingene. At de i sum blir mer rettferdige, med et større utvalg og mangfold, som utjevner både feilmarginer, dårlig formulerte spørsmål og luresvar er viktig, men et gjennomsnitt på landsbasis bommer uansett på det viktigste: Enkeltstatene!

9. Vekting

Meningsmålerne har ambisjoner om å stå med rak rygg etter at fasiten foreligger. Det er deprimerende å skulle forklare gang på gang hva som gikk feil, hvor de bommet og dummet seg ut, hva de ikke fanget opp. Så de "vekter".

Det vi si at svarene justeres i forhold til forrige måling, forrige valgresultat og endringer i folks hverdag. Noen er bliit gift eller skilt, har fått jobb eller mistet jobb. Dersom man får helt uvanlig få svar på ett alternativ, som avviker mer enn hva som er statistisk sannsynlig, så må man justere for feilkilder, men allikevel fange opp endringene.

En stor feilkilde er at folk har selektiv hukommelse. De mener å huske at de stemte på kandidat A sist, fordi kandidat A vant. Ved kontrollundersøkelser i ettertid viser det seg at folk foretrekker å ha stemt på en vinner i stedet for på en taper. De lyver altså ikke, men de spiller seg selv et ubevisst puss. Og påfører meningsmålerne en ny feilkilde!

10. Byråets metode

I denne valgkampen har Los Angeles Times hele tiden hatt en avvikende meningsmåling: Trump har ledet over Clinton hele tiden. Vanligvis så spørres det om hvem du vil stemme på. Det er relevant, for det er det som skjer når du stemmer: Du velger den ene og vraker den andre. Det byrået LA Times bruker spør hvor stor sannsynlighet det er for at du stemmer på ...

Da kan du svare 75 prosent på Trump og 45 prosent på Clinton. Så kommer de tilbake til de samme velgerne, gang på gang i løpet av valgkampen. De mener da å kunne måle utviklingen og endringen innenfor samme univers, som de så overfører til å gjelde hele landet.

Valgresultatet den 8. november vil tale for seg. men allerede den 9. starter debatten om meningsmålingenes verdi som politisk og journalistisk verktøy. Erfaringene hittil i år fra Brexit og folkeavstemningen i Colombia gjør at det er nesten like stor interesse knyttet til «forusigernes» målinger og analyser som til selve resultatet. Kanskje treffer de. Kanskje har vi vært urolige eller gledet oss, kommentert og analysert i månedsvis helt på sviktende grunnlag.

Om kort tid vet vi svaret.