Kommentar – webbpanelkommitten kvalitet webbpaneler

Tidigare under hösten har webbpanelkommittén (sammansatt av Surveyföreningens styrelse) utkommit med en rapport kring kvalitet och webbpaneler.  Bland annat SMRN (Scandinavian Market Research News) har bett oss kommentera vår uppfattning om innehållet och de eventuella synpunkter vi har på webbpanelkommitténs arbete.

Vad webbpanelkommittén försökt att åstadkomma enligt vår uppfattning är att legitimisera vissa typer av Internetpaneler (sannolikhetsurvalsrekryterade) framför andra typer av paneler (självrekrytering). Vad kommittén valt att framhäva är att så länge de traditionella statistiska mått (ex svarsfrekvens) är möjliga att ta fram (även om de visar att kvaliteten är så låg att resultatet utifrån traditionella termer inte bör användas överhuvudtaget), så är de företatg som arbetar enligt dessa metodiker mer ambitiösa än andra företag. (sid 14) ”… stickprovet till den specifika webbpanelundersökningen erhållits genom sannolikhetsurval. Undersökningar utförda på detta sätt återspeglar en hög ambitionsnivå hos undersökaren.”

Det framgår dock väldigt otydligt att enligt de kvalitetsmått som förespråkas så bör i princip samtliga panelundersökningar som genomförs idag och då i synnerhet de som arbetar enligt kommitténs kvalitetsterminologi förpassas till första bästa papperskorg. Känslan som erhålls efter att läst rapporten från pärm till pärm är att rapporten snarare är ett beställningsjobb från traditionella aktörer som är livrädda för ny konkurrens, än en rapport som syftar till att driva kvalitetsarbete kring paneler framåt.

Det som alla känner till men få vågar yppa är att de företag som arbetar enligt kommitténs rekommendationer ofta har mycket stora problem med att träffa exempelvis unga män i sina undersökningar.

Vad branschen faktiskt behöver och vad vi som köpare av Internetpaneler behöver är en betydligt mer sober syn på interneturval som förstår att de tider då svarsfrekvenser på telefon blev 70% är sedan länge förbi, och att de metoder som tidigare varit norm numera är passé på grund av enorma kvalitetsproblem (läs, sannolikhetsrekryterade internetpaneler). Sannolikt är en kombination av olika metoder för olika målgrupper i särklass bäst infallsvinkel för att få ut bättre data.

Vi tar inte ställning för någon aktör i vår kommentar, men vi tar ställning för att de metoder som kommittén förespråkar (direkt eller indirekt) inte håller måttet. Vi säger att det saknas best practice på området, och vi säger att idag (till skillnad från för 20 år sedan) så alla insamlingar fyllda av betydligt större problematik vilket innebär att många av de traditionella sätten att mäta kvalitét helt enkelt är undermåliga.

Webbpanelkommitténs rapport finner du här

Status Internetpaneler

Under det senaste decenniet har Internetpaneler gått från att vara en obskyritet till att bli marknadsundersökares gunstling. Kommer detta fenomen att hålla i sig? En fråga vi skall spekulera i lite längre fram.

Vi delar passionen för Internetpaneler med andra i branschen, möjligheterna som givits oss är fantastiska. Inte minst eftersom vi kan vi använda oss av multimediafunktionalitet, men det finns många vinster.

– Lägre kostnader

– Snabbare insamling

– Mer kontroll över multinationella studier

– Bredare leverantörsurval

Osv.

Under flera år, och framförallt senaste året, har vi noterat flera eskalerande problem för oss och för branschen.

– Flera av de dominerande panelföretagen i Sverige försöker underminera kvalitetsdiskussionen genom olika typer av certifieringar och ISO stämplar som påvisar att de har ”den enda vägen”, medans sanningen är att enligt deras egna kvalitetsmått är deras produkter närmast värdelösa.

– Trots många aktörer på marknaden ter det sig omöjligt att få studier genomförda överhuvudtaget i vissa länder. Exempelvis Norge har visat sig överhopat med problem, trots stor efterfrågan. Antingen saknar aktörerna relevant panelstorlek, och de som har relevant panelstorlek har istället problem med att agera professionellt.

– Behovet av att justera ”panelfel” ökar närmast kvadratiskt från år till år. Alltifrån straightliners till speeders. Det väcker ju närmast frågan vem som faktiskt svarar i slutändan på ens panelundersökningar oavsett kvalitetsdiskussionerna runtomkring.

– Kravbilden på formulär eskalerar. Matrisfrågorna som undersökarna tidigare tyckt varit en av vinsterna med internetundersökningar är nu närmast av sådan art att det inte ens går att få svar på längre. Ingen panelmedlem med aktning tar sig tiden att svara seriöst på dessa frågor.

Allt ovan är tämligen oroväckande. De företag som dominerar på marknaden är oförmögna att analysera och komma med konkreta råd kring hur situationen skall förbättras. Andra undersökningsföretag väljer att se mellan fingrarna.

Vår fråga blir, hur länge är detta hållbart? Är 2013 året då paneler börjar att se sin nedgång? Sannolikt kommer panelen i dess nuvarande form att förändras. Pga kvalitetsproblem måste nya metoder fram, eller gamla tillbaka. I dagsläget är de flesta panelundersökningar i paritet med en enkät på sista sidan i en dagstidning, något som gäller oavsett hur panelen rekryterats.