So, komme endlich dazu, mich an die versprochene Weiterführung des Blogs vom 24.11. zu machen…

Im ersten Teil hatte ich mich mit den Gründen für sinkende Teilnahmebereitschaft in Online-Panels und eine stetig steigende Panel-Mortalität auseinandergesetzt. Untern anderem wurde hierbei der Punkt Surveytainment bzw. die Art und Weise der in Online Panels durchgeführten Umfragen angerissen. Ich möchte nun noch etwas ausführlicher auf diesen Punkt eingehen, da die Qualität der in Online Panels durchgeführten Umfragen mit Sicherheit einen sehr großen Einfluß auf die Panel Mortalität hat – immerhin ist es Hauptziel und -zweck eines Panels, Online-Umfragen unter den Panelisten durchzuführen.

Im Anschluß möchte ich dann gerne noch einige Lösungsansätze für die angesprochen Problematik rückläufiger Teilnahmeraten vorstellen und eine Vorstellung davon geben, wie ich mir Online Panels in Zukunft vorstelle. Mal sehen, ob ich das alles in diese Folge II gepackt bekomme. Andernfalls muß halt eine Folge III herhalten…

Surveytainment… also: wie kann ich Umfragen für den Probanden/Teilnehmer möglichst spannend und entertaining gestalten um die Teilnahmebereitschaft an Umfragen langfristig zu erhalten? Im Grunde ganz einfach:

Zuerst einmal sollte ich als Forscher mit der gleichen Sorgfalt und Wertschätzung meine Fragen stellen, die ich vom Befragten auch bei der Beantwortung meiner Fragen erwarte. Ist doch selbstverständlich, mag da der geneigte Leser aufschreien. Klar…

sorgfältige Übersetzungen:

sinnvolle Ausfüllanweisungen (weil Tastaturen manchmal so schmieren…):

überlegte Fragestellungen (was macht da jetzt jemand mit mittlerer Reife?):

Es wäre ein einfaches, weitere hunderte Beispiele dieser Art aufzuführen, würde aber den Rahmen sprengen. Was ich damit klar machen will ist, daß noch sehr sehr häufig haarsträubende handwerkliche Fehler in der Fragebogengestlatung und -umsetzung gemacht werden und dies nicht immer vom Panel-Betreiber selbst, sondern auch häufig vom beauftragenden Institut.

Ich habe aber erst neulich zwei interessante Blogeinträge von Olympiamilano zum Thema Matrixfragen in Online-Umfragen gelesen:

- Surveytainment at its best #2
- Matrixfragen – Online eigentlich Unsinn!

Im Grunde klingt mir das sehr einleuchtend und jeder der einmal eine mit elend langen Matrixfragen gespickte Online-Umfrage mitgemacht hat, wird bestätigen, daß das Unsinn ist und dieser Fragetyp für ein Selbtausfüllerinterview gänzlich ungeeignet ist. Trotzdem scheint die Skalenabfrage über diverse Items des Marktforschers liebstes Kind zu sein… Mir drängt sich da häufig das Gefühl auf, der Befragte wird gar nicht mehr als Konsument/Kunde/Mensch gesehen, sondern als Datenproduzent, der möglichst ausgiebig “gemolken” werden soll. Ob ich den Menschen dabei noch zu authentischen, spontanten, ehrlichen Antworten bekomme ist eher zweitrangig, wichtig scheint zu sein, möglichst viel Datenmaterial anzuhäufen…

Eine Frage, die immer hilfreich ist um festzustellen, wie Befragungstauglich oder eben nicht, ein Fragebogen ist:

“Würde ich diesen Fragebogen selbst mit entsprechender Sorgfalt und Konzentration bis zum Schluß beantworten?”

Wenn Ihre Antwort darauf “NEIN” ist: Ändern Sie den Fragebogen ab. Kürzen Sie Fragen heraus oder variieren Sie unterschiedliche Fragetypen, modellieren Sie um. Vielleicht muß sogar das gesamte Studiendesign geändert werden? Die Maxime “Klasse statt Masse” sollte hier auf alle Fälle gelten. Lieber habe ich weniger Datenmaterial, dieses aber durch ehrliche und sinnvolle Beantwortung der Fragen erzielt, als einen Haufen Material von Durchklickern und genervten Probanden.

Und damit haben wir auch schon einen ersten – zugegebenermaßen recht banalen – Lösungsvorschlag für verbesserte Teilnahmebereitschaft und Verweildauer in Online-Panels geliefert: Bessere Umfragen – angepasst an die Gegebenheiten des Internets, an die Besonderheiten bei Selbstausfüllerinterviews und an die Strapazierfähigkeit der Probanden.

Natürlich sollen aber auch ein paar “more sophisticated” Ideen vorgestellt werden, wie man schwindender Teilnahmebereitschaft in Online-Panels entgegentreten kann.

Zum ersten – bereits in Einsatz und von uns erfolgreich angewendet: Unser Panelist Motivation Score – Ein Tool welches anhand der Umfragenhistorie die individuelle Motivation der Probanden „misst“ und somit ein verbessertes Einladen zu Studien ermöglicht.

Und wie funktioniert’s?
Wir unterstellem jeden Panelisten eine Grundmotivation an Umfragen teilzunehmen, ansonsten hätte er/sie sich aller Wahrscheinlichkeit nach nicht im Panel angemeldet. Diese Motivation ändert sich nun bei jeder Einladung zu einer Umfrage, je nachdem wie diese ausgeht:

1. Darf der Panelist vollständig beantworten, steigt der Motivation Score
2. Wird er ausgescreent, bricht er ab oder läuft er in eine volle Quote, sinkt die Motivation, da das Ziel, an Umfragen teilzunehmen, ja nicht erreicht wurde.

Weil das zu einfach wäre, wird der Algorithmus noch durch ein paar weitere Variablen wie z.B. Einladungshäufigkeit, Verweildauer im Panel, Bonuspunktestand, etc. angereichert und schon haben wir einen individuellen Motivationsscore für jeden Panelisten. Dieser Score wird nun wie folgt bei der Ziehung von Stichproben eingesetzt:

Bei einem niedrigen Motivationsscore laden wir bevorzugt zu Umfragen mit hoher Beendigungswahrscheinlichkeit ein. Bei Umfragen mit niedriger Beendigungswahrscheinlichkeit würden wir entsprechend bevorzugt Teilnehmer mit einer hohen Motivation einladen. Hier sei ergänzend darauf hingewiesen, daß wir leider nicht immer auf Studien mit hoher Beendigungswahrscheinlichkeit (also hohe Inzidenz) zurückgreifen können. Daher „kreiern“ wir s.g. Motivationsstudien, bei welchen jeder teilnehmen darf.

Was bringt’s? Viel! In einer Testphase von 3 Monaten konnten wir bei der Gruppe mit Motivationsscore eine um 6% höhere Teilnahmebereitschaft feststellen, als in der Testgruppe ohne Motivationsscore. Auch seit der festen Einführung des PMS in unserem Panel haben sich die Teilnahmeraten stabilisiert und z.T. sogar erhöht, wobei das Messen hier etwas schwieriger ist, da im tgl. Panel-Management natürlich noch weitere Effekte (unterschiedliche Incentives, Neurekrutierungen, inaktive, …) eine Rolle spielen.

Für uns lässt sich festhalten: ein wertschätzender und respektvoller Umgang mit unseren Panelteilnehmern gepaart mit dem Einsatz des Panelist Motivation Score hilft eindeutig, die Teilnahmebereitschaft der Probanden zu verbessern.

Trotzdem – ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs (hoffentlich recht bald in den nächsten Tagen!) eingehen.