It can happen all the time and of course it did happen before, that we had to refuse to start an online study because of a very, very bad study design. Nevertheless, this time I thought I’d write some short notes on it, simply because I think that this issue is very important and somehow underestimated.

And of course I’m posting this blog-entry because I hope to get a discussion started and hear back your thoughts on this issue!

In a nutshell this is what happened: We won a project from a client, which sounded fair and easy in the very beginning. During our project managers test of the survey we found the whole study design to be more or less one big grid question and including a plausibility-check at the very end of one page. This check would exclude all panelists who would not answer a certain grid-item with a certain scale-item (where the right answer had nothing to do with a candid answer on that certain item).

Don’t get me wrong, I completely agree with plausibility-checks but I do also believe that researchers need to make sure, that surveys are engaging or – if this is not possible for any reason – at least not disencouraging. But the combination of a very long and boring survey and a plausibility-check if respondents would not keep up their concentration over a bunch of grid questions with up to 30 items, isn’t something which I think is helpful for better data quality.

I agree that online panel providers are responsible for panel quality and maintenance but my point is that good data quality can only be delivered if – next to a quality panel – the study design delivers good quality as well. If there is a lack on questionnaire-quality, we cannot be responsible for high drop-out rates or cheaters. BTW: I think we cannot even name those cheaters who are “straightlining” due to fact that the same-looking odd grid question is asked (of course slightly modificated) 3-5 pages in a row where people would have to scroll down on every page to see the last items. Would you remain to answer seriously and with the same concentration after the 20th item?

Back to the story: We finally decided not to start this project and – as it looks right now – lost an interesting client. It wasn’t just the fact that the study design was that bad, but also that participants would have been excluded if they – in my opinion understandably – would have lost concentration at some point of the survey and therefore would have been the ones to be blamed for a disencouraging and bad survey design. Putting high quality expectations on a fieldwork provider but in return not delivering quality in the study design didn’t seem to be a fair deal for us. Especially not, as we would have been the ones to pay for it due to high dropout- and “cheater”-rates.

Now I would be interested in your thoughts: Would you field such a survey? Would you – as a client – expect your panel-provider to start a project like that? Would you accept even major changes on your survey design? How do you cope with issues like that?

Letzten Dezember hatte Christoph Irmer in diesem Blog eine Artikelserie (Quo Vadis Online Panels Teil 1, Teil 2 und Teil 3) veröffentlicht, in der er ganz grundsätzlich die Praxis der Panelanbieter auf den Prüfstand stellte. Zum Abschluss der Reihe wurde darin die erste grobe Idee eines Masterscreeners vorgestellt, in den wir große Hoffnungen zur Verbesserung der Panelperformance legten – und im selben Zug auch erste Erfahrungsberichte mit dieser neuen Maßnahme angekündigt.

Voila! Fast ein halbes Jahr später haben wir nun die ersten Ergebnisse auf der GOR 2010 vor einem kritischen Fachpublikum vorgestellt. Und – so viel darf man schon vorweg nehmen – die Resonanz war durchweg recht positiv.

Der Vortrag begann mit einer kurzen Zusammenfassung der Probleme, auf die wir mit dem Masterscreener reagieren wollten. Unsere beiden Hauptziele waren eine höhere Beendigungswahrscheinlichkeit bei Umfragen und eine höhere Motivation der Panelisten. Daher wurden von den vielen Eigenstudien, die wir zum Masterscreener durchgeführt hatten, exemplarisch die beiden Untersuchungen vorgestellt, die eine Antwort darauf geben konnten, ob wir unseren Zielen näher gekommen waren.

Die erste Untersuchung betraf eine einfache Auswertung der Panelperformanzdaten, wie sie standardmäßig für jeden Panelisten erhoben werden. Hier wurde das erste Quartal 2009 (ohne Masterscreener) mit dem ersten Quartal 2010 (mit Masterscreener) verglichen – und zwar für aktive Bestandspanelisten, die regelmäßig am Masterscreener teilgenommen haben. „Aktiv“ bedeutet hier, dass die Panelisten eine überdurchschnittliche Teilnahmebereitschaft aufweisen – was der Tatsache geschuldet war, dass in den drei Monaten der Vergleichszeiträume auch ausreichend Performanzdaten angefallen sein mussten, um einen Vergleich durchführen zu können. Das Ergebnis kann sich sehen lassen: die Beendigungswahrscheinlichkeit hat sich verdreifacht – was unter anderem bedeutet, dass unsere Panelisten nun mehr positive als negative Erlebnisse haben, wenn sie eine Umfrage beginnen.

Insofern verwundert es auch nicht, dass die Zufriedenheit mit der Panelmitgliedschaft in unserer zweiten Studie für solche Panelisten höher ist, die regelmäßig am Masterscreener teilgenommen haben. Vor allem der gute Wert bei der Weiterempfehlungsbereitschaft der Panelmitgliedschaft – also nicht nur die einfache Motivation unserer Panelisten, sondern sogar die Motivation andere Menschen zu motivieren – spricht für die positiven Effekte des Masterscreeners.

Wenngleich also aus unseren Erfahrungen ein recht positives Zwischenfazit zu ziehen war, schloss der Vortrag mit einer kurzen Diskussion von Problemfeldern, denen wir uns in der Zukunft noch intensiver zuwenden möchten. Alles in allem aber – so auch das Feedback, das wir nach dem Vortrag bekommen haben – sind wir auf dem richtigen Weg!

Ein freundliches Hallo zum dritten und letzten Teil meines Blogs, mit dem ich meine ganz persönliche Einschätzung zur aktuellen Lage von Online Access Panels zum Besten gebe.

Hier findet der geneigte Leser übrigens zu den ersten beiden Artikeln: Teil 1; Teil 2

Zum Ende des Vorgänger-Blogs hatte ich ja versprochen, das meines Erachtens grundlegende Problem von Online Access Panels angehen zu wollen:

“… [] Ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs eingehen. “

Und bitte schön, hier kommt unser Vorschlag:

Wie würde es denn aussehen, wenn wir das Panelmanagement sowie die Durchführung von Online-Umfragen in Online-Panels nicht mehr projektbezogen, sondern panelbezogen angehen? Was meine ich damit?

Bisher gehen Online-Panels i.d.R. so vor, daß sie projektbezogen Gruppen aus dem Online-Panel vorselektieren und einladen. Wie in Teil 1 dieses Beitrags bereits erwähnt, führt dies zu extrem hohen Screenoutraten und in der Konsequenz logischerweise zu viel Frustration beim Probanden.

Hier müssen wir ansetzen und aus Qualitäts- und Quantitätsgründen die Beendigungswahrscheinlichkeit in Online-Umfragen deutlich erhöhen! Klar: Kunden haben meist sehr genau Vorstellungen, wie Ihre Zielgruppe auszusehen hat und häufig sind diese sehr eng gefasst. Dies natürlich auch häufig zurecht und so wird es sich dauerhaft nicht vermeiden lassen, sprichtwörtlich nach der Nadel im Heuhaufen zu suchen. Die Frage, die ich mir hierbei aber stelle: “Muß das auf Projektebene stattfinden?”

Wie wär’s denn damit:

Die Zielgruppensuche findet – statt projektbezogen – ständig und fortlaufend in einer dynamischen Masterumfrage statt. Diese wird (für jedes Panelland) durchgeführt und ständig durch das Hinzufügen und Herausnehmen von Screeningfragen an die jeweils laufenden Projekte angepasst. Teilnehmer des Online-Panels werden nun fortlaufend befragt und die Probanden anhand Ihrer Ergebnisse in entsprechende Gruppen gespielt, je nachdem für welche(s) Projekt(e) sie sich qualifiziert haben.

Somit habe ich – zumindest theoretisch – die Zielgruppen für einzelne Projekte vorgescreent und kann nun tatsächlich Probanden auf Umfragen einladen, die sie mit sehr, sehr hoher Wahrscheinlichkeit beenden können.

Der Ablauf im Detail ist wie hier aufgezeigt:

Die Vorteile (bzw. korrekterweise angenommenen Vorteile):

• schon durch seine Teilnahme an der Mastersurvey nimmt der Proband an einer (incentivierten) Umfrage teil ohne ausgescreent zu werden
  
• die Einladung für weitere Projekte erfolgt anhand der Antworten aus der Mastersurvey – somit wird im Grunde nur noch eingeladen, wer in die entsprechende Zielgruppe passt
  
• das Frustrationslevel der Teilnehmer nimmt ab, da das frustrierende “Sie gehören diesmal leider nicht zur Zielgruppe” weitestgehend entfällt
  
• den Panelisten wird dauerhaft der Grund genommen, sich durch antrainiertes, geändertes Antwortverhalten für Umfragen zu qualifizieren – wenn er eine Einladung zu einer Umfrage erhält, darf er im Normalfall auch tatsächlich an dieser Umfrage teilnehmen!
  
• auf lange Sicht sollte dies zu verbesserter Datenqualität führen
  
• die Panelmortalität wird gesenkt

Natürlich gibt es aber auch hier einige Knackpunkte, die noch weitergehend überprüft und ggf. “nachbearbeitet” werden müssen:

• Wie funktioniert eine Aneinanderreihung von Screeningfragen aus unterschiedlichen Studien in einer solchen Master-Survey?
  
• Wie reagieren Kunden auf dieses Vorgehen?
  
• Nach welchen Kriterien priorisiere ich die parallel laufenden Projekte, wenn Panelisten in mehrere Zielgruppen passen, sich also für mehrere Projekte qualifizieren?
  
• Wie gehe ich mit der Master-Survey bei zeitkritischen Projekten um?
  
• Wie häufig müssen Panelisten künftig auf die Mastersurvey eingeladen werden?

Wir führen derzeit in unserem deutschen Panel seit Anfang Dezember einen Test durch und machen hier bisher sehr positive Erfahrungen:

• Die erzielten Inzidenzraten in der Mastersurvey haben sich bisher sehr gut mit den angegebenen Erfahrungswerten unserer Kunden gedeckt, so daß davon auszugehen ist, daß es hier keine Verzerrungen durch Falschantworten gibt
  
• Bis auf ein paar wenige Ausnahmen (abweichend von Studie zu Studie) sind die Probanden auch in Ihren Antworten bei Mastersurvey und in den tatsächlichen Kundenumfragen konsistent.
  
• Die Beendigungswahrscheinlichkeit konnte bei den involvierten Studien signifikant erhöht werden, woraus wir uns mittel- bis langfristig eine deutlich verbesserte Teilnahmebereitschaft erhoffen.

Die Ergebnisse dieser Studie werden wir übrigens Anfang des Jahres gerne publizieren (Art, Ort und Medium werden noch bekanntgegeben ).Nun gilt es, die ersten Erfahrungen auszubauen, dieses Vorgehen im Panel zu etablieren und unsere Kunden hiervon zu überzeugen.

Ich bin überzeugt davon, daß wir die Teilnahmebereitschaft an Online-Umfragen und damit die Erhebung valider und ehrlicher Daten nur dann dauerhaft sicherstellen können, wenn wir das “Erlebnis Online-Umfragen” für den Probanden wieder deutlich weniger frustrierend und nutzerfreundlicher gestalten! Dieses Vorscreener über eine Masterumfrage ist m.E. ein vielversprechender Weg und ich halte Interessenten natürlich gerne über die Entwicklung auf dem Laufenden.

In diesem Sinne freue ich mich auf eine angeregte Diskussion (per Twitter, über die Kommentarfunktion, per Email, persönlich, … )

So, komme endlich dazu, mich an die versprochene Weiterführung des Blogs vom 24.11. zu machen…

Im ersten Teil hatte ich mich mit den Gründen für sinkende Teilnahmebereitschaft in Online-Panels und eine stetig steigende Panel-Mortalität auseinandergesetzt. Untern anderem wurde hierbei der Punkt Surveytainment bzw. die Art und Weise der in Online Panels durchgeführten Umfragen angerissen. Ich möchte nun noch etwas ausführlicher auf diesen Punkt eingehen, da die Qualität der in Online Panels durchgeführten Umfragen mit Sicherheit einen sehr großen Einfluß auf die Panel Mortalität hat – immerhin ist es Hauptziel und -zweck eines Panels, Online-Umfragen unter den Panelisten durchzuführen.

Im Anschluß möchte ich dann gerne noch einige Lösungsansätze für die angesprochen Problematik rückläufiger Teilnahmeraten vorstellen und eine Vorstellung davon geben, wie ich mir Online Panels in Zukunft vorstelle. Mal sehen, ob ich das alles in diese Folge II gepackt bekomme. Andernfalls muß halt eine Folge III herhalten…

Surveytainment… also: wie kann ich Umfragen für den Probanden/Teilnehmer möglichst spannend und entertaining gestalten um die Teilnahmebereitschaft an Umfragen langfristig zu erhalten? Im Grunde ganz einfach:

Zuerst einmal sollte ich als Forscher mit der gleichen Sorgfalt und Wertschätzung meine Fragen stellen, die ich vom Befragten auch bei der Beantwortung meiner Fragen erwarte. Ist doch selbstverständlich, mag da der geneigte Leser aufschreien. Klar…

sorgfältige Übersetzungen:

sinnvolle Ausfüllanweisungen (weil Tastaturen manchmal so schmieren…):

überlegte Fragestellungen (was macht da jetzt jemand mit mittlerer Reife?):

Es wäre ein einfaches, weitere hunderte Beispiele dieser Art aufzuführen, würde aber den Rahmen sprengen. Was ich damit klar machen will ist, daß noch sehr sehr häufig haarsträubende handwerkliche Fehler in der Fragebogengestlatung und -umsetzung gemacht werden und dies nicht immer vom Panel-Betreiber selbst, sondern auch häufig vom beauftragenden Institut.

Ich habe aber erst neulich zwei interessante Blogeinträge von Olympiamilano zum Thema Matrixfragen in Online-Umfragen gelesen:

- Surveytainment at its best #2
- Matrixfragen – Online eigentlich Unsinn!

Im Grunde klingt mir das sehr einleuchtend und jeder der einmal eine mit elend langen Matrixfragen gespickte Online-Umfrage mitgemacht hat, wird bestätigen, daß das Unsinn ist und dieser Fragetyp für ein Selbtausfüllerinterview gänzlich ungeeignet ist. Trotzdem scheint die Skalenabfrage über diverse Items des Marktforschers liebstes Kind zu sein… Mir drängt sich da häufig das Gefühl auf, der Befragte wird gar nicht mehr als Konsument/Kunde/Mensch gesehen, sondern als Datenproduzent, der möglichst ausgiebig “gemolken” werden soll. Ob ich den Menschen dabei noch zu authentischen, spontanten, ehrlichen Antworten bekomme ist eher zweitrangig, wichtig scheint zu sein, möglichst viel Datenmaterial anzuhäufen…

Eine Frage, die immer hilfreich ist um festzustellen, wie Befragungstauglich oder eben nicht, ein Fragebogen ist:

“Würde ich diesen Fragebogen selbst mit entsprechender Sorgfalt und Konzentration bis zum Schluß beantworten?”

Wenn Ihre Antwort darauf “NEIN” ist: Ändern Sie den Fragebogen ab. Kürzen Sie Fragen heraus oder variieren Sie unterschiedliche Fragetypen, modellieren Sie um. Vielleicht muß sogar das gesamte Studiendesign geändert werden? Die Maxime “Klasse statt Masse” sollte hier auf alle Fälle gelten. Lieber habe ich weniger Datenmaterial, dieses aber durch ehrliche und sinnvolle Beantwortung der Fragen erzielt, als einen Haufen Material von Durchklickern und genervten Probanden.

Und damit haben wir auch schon einen ersten – zugegebenermaßen recht banalen – Lösungsvorschlag für verbesserte Teilnahmebereitschaft und Verweildauer in Online-Panels geliefert: Bessere Umfragen – angepasst an die Gegebenheiten des Internets, an die Besonderheiten bei Selbstausfüllerinterviews und an die Strapazierfähigkeit der Probanden.

Natürlich sollen aber auch ein paar “more sophisticated” Ideen vorgestellt werden, wie man schwindender Teilnahmebereitschaft in Online-Panels entgegentreten kann.

Zum ersten – bereits in Einsatz und von uns erfolgreich angewendet: Unser Panelist Motivation Score – Ein Tool welches anhand der Umfragenhistorie die individuelle Motivation der Probanden „misst“ und somit ein verbessertes Einladen zu Studien ermöglicht.

Und wie funktioniert’s?
Wir unterstellem jeden Panelisten eine Grundmotivation an Umfragen teilzunehmen, ansonsten hätte er/sie sich aller Wahrscheinlichkeit nach nicht im Panel angemeldet. Diese Motivation ändert sich nun bei jeder Einladung zu einer Umfrage, je nachdem wie diese ausgeht:

1. Darf der Panelist vollständig beantworten, steigt der Motivation Score
2. Wird er ausgescreent, bricht er ab oder läuft er in eine volle Quote, sinkt die Motivation, da das Ziel, an Umfragen teilzunehmen, ja nicht erreicht wurde.

Weil das zu einfach wäre, wird der Algorithmus noch durch ein paar weitere Variablen wie z.B. Einladungshäufigkeit, Verweildauer im Panel, Bonuspunktestand, etc. angereichert und schon haben wir einen individuellen Motivationsscore für jeden Panelisten. Dieser Score wird nun wie folgt bei der Ziehung von Stichproben eingesetzt:

Bei einem niedrigen Motivationsscore laden wir bevorzugt zu Umfragen mit hoher Beendigungswahrscheinlichkeit ein. Bei Umfragen mit niedriger Beendigungswahrscheinlichkeit würden wir entsprechend bevorzugt Teilnehmer mit einer hohen Motivation einladen. Hier sei ergänzend darauf hingewiesen, daß wir leider nicht immer auf Studien mit hoher Beendigungswahrscheinlichkeit (also hohe Inzidenz) zurückgreifen können. Daher „kreiern“ wir s.g. Motivationsstudien, bei welchen jeder teilnehmen darf.

Was bringt’s? Viel! In einer Testphase von 3 Monaten konnten wir bei der Gruppe mit Motivationsscore eine um 6% höhere Teilnahmebereitschaft feststellen, als in der Testgruppe ohne Motivationsscore. Auch seit der festen Einführung des PMS in unserem Panel haben sich die Teilnahmeraten stabilisiert und z.T. sogar erhöht, wobei das Messen hier etwas schwieriger ist, da im tgl. Panel-Management natürlich noch weitere Effekte (unterschiedliche Incentives, Neurekrutierungen, inaktive, …) eine Rolle spielen.

Für uns lässt sich festhalten: ein wertschätzender und respektvoller Umgang mit unseren Panelteilnehmern gepaart mit dem Einsatz des Panelist Motivation Score hilft eindeutig, die Teilnahmebereitschaft der Probanden zu verbessern.

Trotzdem – ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs (hoffentlich recht bald in den nächsten Tagen!) eingehen.

Vortrag von Christoph Irmer, CEO der ODC Services GmbH anlässlich des 10 jährigen Jubiläums der Globalpark AG.

Wie alle Panelanbieter kämpft ODC mit rückläufigen Teilnahmeraten und schneller steigenden Mortalitätsraten der Panelmitglieder. Als Gründe werden von Herrn Irmer in seinem Vortrag identifiziert:

1. Panelistenrekrutierung ist deutlich schwieriger (u.a. sinkende Klickraten, Pop-Blocker, großer Wettbewerb)
2. Marktforschung ist i.d.R. weniger ‚sexy‘ als versprochen (z.B. Umfragen sind in der Praxis selten spannend, (zu) viele Matrix-Fragen etc.)
3. Zusammenarbeit von Panel-Anbietern und deren Kunden verläuft häufig nicht optimal (z.B. zu viele Screenouts, Quota-Fulls, falsche Versprechen, schlechte Qualität der Fragebogen)

Dieses führt schlussendlich zur Frustration der Panelisten und zu einer niedrigen Motivation, Studien zu beenden oder gar erst zu beginnen.

ODC wirkt mit dem sogenannten „ODC Panelist Motivation Score“ entgegen. Der Motivation Score unterteilt die Panelisten in drei Gruppen und berücksichtigt hierbei die Beendigungswahrscheinlichkeit der Umfragen:  „Top“-Motivierte werden zu Studien eingeladen, die eine niedrige Beendigungsquote haben; „Mid“-Motivierte werden zu Umfragen mit mittlerer Beendigungwahrscheinlichkeit eingeladen und „Low“- Motivierte zu Studien mit sehr hoher Completion Rate.

Hierfür wird der von EFS Panel standardmäßig integrierte PCI-Index genutzt und bei der Stichprobenziehung zu den Studien berücksichtigt. ODC führt seine stabilen Rücklaufquoten u.a. auf den Einsatz des Motivation Score zurück.

Weiterhin entwickelt ODC derzeit in Zusammenarbeit mit Globalpark ein Konzept, um einen sogenannten Master-Screener zu nutzen. Hierbei werden die Screening-Fragen von verschiedenen Umfragen in einen Screener zusammengefasst und der Panelist wird automatisch in die geeignete Studie geleitet. Dadurch wird die Teilnahmewahrscheinlichkeit für den Panelisten deutlich erhöht und somit seine Motivation an weiteren Studien im Panel teilzunehmen.