It can happen all the time and of course it did happen before, that we had to refuse to start an online study because of a very, very bad study design. Nevertheless, this time I thought I’d write some short notes on it, simply because I think that this issue is very important and somehow underestimated.

And of course I’m posting this blog-entry because I hope to get a discussion started and hear back your thoughts on this issue!

In a nutshell this is what happened: We won a project from a client, which sounded fair and easy in the very beginning. During our project managers test of the survey we found the whole study design to be more or less one big grid question and including a plausibility-check at the very end of one page. This check would exclude all panelists who would not answer a certain grid-item with a certain scale-item (where the right answer had nothing to do with a candid answer on that certain item).

Don’t get me wrong, I completely agree with plausibility-checks but I do also believe that researchers need to make sure, that surveys are engaging or – if this is not possible for any reason – at least not disencouraging. But the combination of a very long and boring survey and a plausibility-check if respondents would not keep up their concentration over a bunch of grid questions with up to 30 items, isn’t something which I think is helpful for better data quality.

I agree that online panel providers are responsible for panel quality and maintenance but my point is that good data quality can only be delivered if – next to a quality panel – the study design delivers good quality as well. If there is a lack on questionnaire-quality, we cannot be responsible for high drop-out rates or cheaters. BTW: I think we cannot even name those cheaters who are “straightlining” due to fact that the same-looking odd grid question is asked (of course slightly modificated) 3-5 pages in a row where people would have to scroll down on every page to see the last items. Would you remain to answer seriously and with the same concentration after the 20th item?

Back to the story: We finally decided not to start this project and – as it looks right now – lost an interesting client. It wasn’t just the fact that the study design was that bad, but also that participants would have been excluded if they – in my opinion understandably – would have lost concentration at some point of the survey and therefore would have been the ones to be blamed for a disencouraging and bad survey design. Putting high quality expectations on a fieldwork provider but in return not delivering quality in the study design didn’t seem to be a fair deal for us. Especially not, as we would have been the ones to pay for it due to high dropout- and “cheater”-rates.

Now I would be interested in your thoughts: Would you field such a survey? Would you – as a client – expect your panel-provider to start a project like that? Would you accept even major changes on your survey design? How do you cope with issues like that?

Letzten Dezember hatte Christoph Irmer in diesem Blog eine Artikelserie (Quo Vadis Online Panels Teil 1, Teil 2 und Teil 3) veröffentlicht, in der er ganz grundsätzlich die Praxis der Panelanbieter auf den Prüfstand stellte. Zum Abschluss der Reihe wurde darin die erste grobe Idee eines Masterscreeners vorgestellt, in den wir große Hoffnungen zur Verbesserung der Panelperformance legten – und im selben Zug auch erste Erfahrungsberichte mit dieser neuen Maßnahme angekündigt.

Voila! Fast ein halbes Jahr später haben wir nun die ersten Ergebnisse auf der GOR 2010 vor einem kritischen Fachpublikum vorgestellt. Und – so viel darf man schon vorweg nehmen – die Resonanz war durchweg recht positiv.

Der Vortrag begann mit einer kurzen Zusammenfassung der Probleme, auf die wir mit dem Masterscreener reagieren wollten. Unsere beiden Hauptziele waren eine höhere Beendigungswahrscheinlichkeit bei Umfragen und eine höhere Motivation der Panelisten. Daher wurden von den vielen Eigenstudien, die wir zum Masterscreener durchgeführt hatten, exemplarisch die beiden Untersuchungen vorgestellt, die eine Antwort darauf geben konnten, ob wir unseren Zielen näher gekommen waren.

Die erste Untersuchung betraf eine einfache Auswertung der Panelperformanzdaten, wie sie standardmäßig für jeden Panelisten erhoben werden. Hier wurde das erste Quartal 2009 (ohne Masterscreener) mit dem ersten Quartal 2010 (mit Masterscreener) verglichen – und zwar für aktive Bestandspanelisten, die regelmäßig am Masterscreener teilgenommen haben. „Aktiv“ bedeutet hier, dass die Panelisten eine überdurchschnittliche Teilnahmebereitschaft aufweisen – was der Tatsache geschuldet war, dass in den drei Monaten der Vergleichszeiträume auch ausreichend Performanzdaten angefallen sein mussten, um einen Vergleich durchführen zu können. Das Ergebnis kann sich sehen lassen: die Beendigungswahrscheinlichkeit hat sich verdreifacht – was unter anderem bedeutet, dass unsere Panelisten nun mehr positive als negative Erlebnisse haben, wenn sie eine Umfrage beginnen.

Insofern verwundert es auch nicht, dass die Zufriedenheit mit der Panelmitgliedschaft in unserer zweiten Studie für solche Panelisten höher ist, die regelmäßig am Masterscreener teilgenommen haben. Vor allem der gute Wert bei der Weiterempfehlungsbereitschaft der Panelmitgliedschaft – also nicht nur die einfache Motivation unserer Panelisten, sondern sogar die Motivation andere Menschen zu motivieren – spricht für die positiven Effekte des Masterscreeners.

Wenngleich also aus unseren Erfahrungen ein recht positives Zwischenfazit zu ziehen war, schloss der Vortrag mit einer kurzen Diskussion von Problemfeldern, denen wir uns in der Zukunft noch intensiver zuwenden möchten. Alles in allem aber – so auch das Feedback, das wir nach dem Vortrag bekommen haben – sind wir auf dem richtigen Weg!

(deutsche Version weiter unten)

In early April, ODC Services GmbH was awarded certification by Austrian Standards Plus GmbH. The online fieldwork provider from Munich thus confirmed its leading position as a quality service provider.

“Certification in accordance with ISO 26362 was a logical step for us and is really just a matter of course. As a provider of high-quality online fieldwork, we intend to use the certification to continue to meet our customer’s high quality requirements and live up to the trust they place in us,“ said Christoph Irmer, CEO of ODC Services. “Of course we are also aware of the responsibility that comes with this endorsement: complying with quality requirements and constantly refining and improving work processes and standards go hand in hand with this certification.“

Dr. Holger Muehlbauer, audit manager on behalf of the Austrian Standard Plus GmbH, also expressed his approval: “For us it is very gratifying to see that ISO 26362 certification appeals to companies and customers alike. And we are particularly pleased that such a well-known and reputable field service provider such as ODC Services has now received the certificate. This is a welcome result of the International Standards Organization we helped develop and we believe that the certification will lead to more quality and transparency in cooperation with access panels.“

The basis for certification was developed by the German Society for Online Research (DGOF), the Association of German Market and Social Research Institute (ADM) and Austrian Standards Plus GmbH. It sets high quality standards for everything from the recruitment of panel members to the fieldwork itself and to reporting. The certificate is intended to provide customers of online panel operators with more certainty in selecting qualified suppliers.

Deutsche Version:
Anfang April erhielt die ODC Services GmbH die Zertifizierungsurkunde der Austrian Standards Plus GmbH. Der Münchner Online-Felddienstleister verdeutlicht damit seine führende Stellung als Qualitätsanbieter.

“Die Zertifizierung nach ISO 26362 war für uns ein logischer Schritt und im Grunde selbstverständlich. Als Qualitätsanbieter im Bereich der Online-Feldarbeit wollen wir durch die Zertifizierung den Qualitätsansprüchen unserer Kunden weiter Rechnung tragen und das uns entgegengebrachte Vertrauen bestätigen”, so Christoph Irmer, CEO bei ODC Services. “Selbstverständlich sind wir uns aber auch der Verantwortung bewusst, die eine solche Zertifizierung mit sich bringt: Die Einhaltung der Qualitätsauflagen so wie beständiges Weiterentwickeln und Verbessern der Arbeitsabläufe und Standards sind für uns im Rahmen dieser Zertifizierung ein Muss.”

Positiv äußert sich auch Dr. Holger Mühlbauer, Audit-Leiter im Auftrag der Austrian Standard Plus GmbH: “Es ist für uns sehr erfreulich zu sehen, dass die Zertifizierung nach ISO-Norm 26362 entsprechenden Anklang findet und umso mehr freut es uns, dass mit der ODC Services GmbH nun ein anerkannter und renommierter Felddienstleister das Zertifikat bekommen hat. Dies ist ein begrüßenswertes Resultat der von uns aktiv begleiteten internationalen Dienstleistungsnormung und wir sind überzeugt, dass die Zertifizierung zu mehr Qualität und Transparenz in der Zusammenarbeit mit Access Panels führen wird.”

Die Zertifizierungsgrundlage wurde von der Deutschen Gesellschaft für Online-Forschung (DGOF) und dem Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) gemeinsam mit der Austrian Standards Plus GmbH entwickelt. Sie stellt hohe Ansprüche an die Qualität, von der Rekrutierung der Panelmitglieder über die Feldarbeit bis hin zum Reporting. Das Zertifikat soll Kunden von Online-Panelbetreibern mehr Sicherheit bei der Auswahl qualifizierter Anbieter geben.

Die ersten Tage eines neuen Jahres gelten meist dem Abschluss des Vorgängerjahrs. Die letzten Daten werden behutsam in die bestehenden Statistiken eingepflegt und man findet nebenbei ein wenig Zeit, sich mit den Zahlen auseinanderzusetzen. Auch ich habe hier ein wenig gestöbert und dabei ist mir im Feedback, das uns die Panelisten zu den Umfragen geben, ein interessanter Effekt aufgefallen.

Die Beurteilung der Länge einer Befragung durch die Befragten korreliert mit der tatsächlichen Länge: je kürzer die Umfrage ist, desto besser das Urteil. Soweit, so unspektakulär. Kontrolliert man diese Korrelation jedoch statistisch auf die Zufriedenheit mit allen anderen Aspekten der Umfrage, so nimmt die Stärke des Zusammenhangs deutlich ab (bleibt aber schwach erhalten). Mit anderen Worten: wenn Inhalt und Bedienbarkeit einer Umfrage positiv erlebt werden, führt eine längere Befragungszeit weniger stark zur Unzufriedenheit.

Dieses Ergebnis passt gut in die aktuelle Diskussion ums Surveytainment – geht es hier nicht stark vereinfacht um die Frage, wie man die Teilnehmer an Umfragen möglichst lange bei Laune halten kann? Wohlgemerkt bezieht sich das vorliegende Ergebnis aber nicht auf Befragungen, die nahe am multimedialen Overkill liegen und vorwiegend aus Flash-Spielchen à la „Karten ins Körbchen“ bestehen, sondern um den breiten Durchschnitt der Befragungen – und dieses Spektrum reicht von recht kurzweiligen Studien bis hin zu langwierigen, redundanten Befragungen. Um den Befragten längere Umfragen zumuten zu können, müssen also nicht unbedingt Mickeymäuse am Bildschirmrand Polonaise tanzen (so ein Verständnis von Surveytainment würde mir nebenbei bemerkt ohnehin eher Angst einflößen), sondern ein verständliches Fragenkonzept und eine einfache Bedienbarkeit der Umfrage haben bereits gute Effekte.

Bleibt die Frage, was man mit dieser Erkenntnis für das noch junge Jahr anfängt? Nun, man kann sich zumindest die implizite Anmahnung der Sorgfaltspflicht bei der Feldarbeit zu Herzen nehmen. Und da man Inhalt und Länge einer Befragung nur selten einer größeren Unterhaltsamkeit preisgeben möchte, muss das Augenmerk umso stärker auf  der einwandfreien Bedienbarkeit liegen. In diesem Sinne: ein gutes und unterhaltsames Jahr 2010!

Ein freundliches Hallo zum dritten und letzten Teil meines Blogs, mit dem ich meine ganz persönliche Einschätzung zur aktuellen Lage von Online Access Panels zum Besten gebe.

Hier findet der geneigte Leser übrigens zu den ersten beiden Artikeln: Teil 1; Teil 2

Zum Ende des Vorgänger-Blogs hatte ich ja versprochen, das meines Erachtens grundlegende Problem von Online Access Panels angehen zu wollen:

“… [] Ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs eingehen. “

Und bitte schön, hier kommt unser Vorschlag:

Wie würde es denn aussehen, wenn wir das Panelmanagement sowie die Durchführung von Online-Umfragen in Online-Panels nicht mehr projektbezogen, sondern panelbezogen angehen? Was meine ich damit?

Bisher gehen Online-Panels i.d.R. so vor, daß sie projektbezogen Gruppen aus dem Online-Panel vorselektieren und einladen. Wie in Teil 1 dieses Beitrags bereits erwähnt, führt dies zu extrem hohen Screenoutraten und in der Konsequenz logischerweise zu viel Frustration beim Probanden.

Hier müssen wir ansetzen und aus Qualitäts- und Quantitätsgründen die Beendigungswahrscheinlichkeit in Online-Umfragen deutlich erhöhen! Klar: Kunden haben meist sehr genau Vorstellungen, wie Ihre Zielgruppe auszusehen hat und häufig sind diese sehr eng gefasst. Dies natürlich auch häufig zurecht und so wird es sich dauerhaft nicht vermeiden lassen, sprichtwörtlich nach der Nadel im Heuhaufen zu suchen. Die Frage, die ich mir hierbei aber stelle: “Muß das auf Projektebene stattfinden?”

Wie wär’s denn damit:

Die Zielgruppensuche findet – statt projektbezogen – ständig und fortlaufend in einer dynamischen Masterumfrage statt. Diese wird (für jedes Panelland) durchgeführt und ständig durch das Hinzufügen und Herausnehmen von Screeningfragen an die jeweils laufenden Projekte angepasst. Teilnehmer des Online-Panels werden nun fortlaufend befragt und die Probanden anhand Ihrer Ergebnisse in entsprechende Gruppen gespielt, je nachdem für welche(s) Projekt(e) sie sich qualifiziert haben.

Somit habe ich – zumindest theoretisch – die Zielgruppen für einzelne Projekte vorgescreent und kann nun tatsächlich Probanden auf Umfragen einladen, die sie mit sehr, sehr hoher Wahrscheinlichkeit beenden können.

Der Ablauf im Detail ist wie hier aufgezeigt:

Die Vorteile (bzw. korrekterweise angenommenen Vorteile):

• schon durch seine Teilnahme an der Mastersurvey nimmt der Proband an einer (incentivierten) Umfrage teil ohne ausgescreent zu werden
  
• die Einladung für weitere Projekte erfolgt anhand der Antworten aus der Mastersurvey – somit wird im Grunde nur noch eingeladen, wer in die entsprechende Zielgruppe passt
  
• das Frustrationslevel der Teilnehmer nimmt ab, da das frustrierende “Sie gehören diesmal leider nicht zur Zielgruppe” weitestgehend entfällt
  
• den Panelisten wird dauerhaft der Grund genommen, sich durch antrainiertes, geändertes Antwortverhalten für Umfragen zu qualifizieren – wenn er eine Einladung zu einer Umfrage erhält, darf er im Normalfall auch tatsächlich an dieser Umfrage teilnehmen!
  
• auf lange Sicht sollte dies zu verbesserter Datenqualität führen
  
• die Panelmortalität wird gesenkt

Natürlich gibt es aber auch hier einige Knackpunkte, die noch weitergehend überprüft und ggf. “nachbearbeitet” werden müssen:

• Wie funktioniert eine Aneinanderreihung von Screeningfragen aus unterschiedlichen Studien in einer solchen Master-Survey?
  
• Wie reagieren Kunden auf dieses Vorgehen?
  
• Nach welchen Kriterien priorisiere ich die parallel laufenden Projekte, wenn Panelisten in mehrere Zielgruppen passen, sich also für mehrere Projekte qualifizieren?
  
• Wie gehe ich mit der Master-Survey bei zeitkritischen Projekten um?
  
• Wie häufig müssen Panelisten künftig auf die Mastersurvey eingeladen werden?

Wir führen derzeit in unserem deutschen Panel seit Anfang Dezember einen Test durch und machen hier bisher sehr positive Erfahrungen:

• Die erzielten Inzidenzraten in der Mastersurvey haben sich bisher sehr gut mit den angegebenen Erfahrungswerten unserer Kunden gedeckt, so daß davon auszugehen ist, daß es hier keine Verzerrungen durch Falschantworten gibt
  
• Bis auf ein paar wenige Ausnahmen (abweichend von Studie zu Studie) sind die Probanden auch in Ihren Antworten bei Mastersurvey und in den tatsächlichen Kundenumfragen konsistent.
  
• Die Beendigungswahrscheinlichkeit konnte bei den involvierten Studien signifikant erhöht werden, woraus wir uns mittel- bis langfristig eine deutlich verbesserte Teilnahmebereitschaft erhoffen.

Die Ergebnisse dieser Studie werden wir übrigens Anfang des Jahres gerne publizieren (Art, Ort und Medium werden noch bekanntgegeben ).Nun gilt es, die ersten Erfahrungen auszubauen, dieses Vorgehen im Panel zu etablieren und unsere Kunden hiervon zu überzeugen.

Ich bin überzeugt davon, daß wir die Teilnahmebereitschaft an Online-Umfragen und damit die Erhebung valider und ehrlicher Daten nur dann dauerhaft sicherstellen können, wenn wir das “Erlebnis Online-Umfragen” für den Probanden wieder deutlich weniger frustrierend und nutzerfreundlicher gestalten! Dieses Vorscreener über eine Masterumfrage ist m.E. ein vielversprechender Weg und ich halte Interessenten natürlich gerne über die Entwicklung auf dem Laufenden.

In diesem Sinne freue ich mich auf eine angeregte Diskussion (per Twitter, über die Kommentarfunktion, per Email, persönlich, … )

So, komme endlich dazu, mich an die versprochene Weiterführung des Blogs vom 24.11. zu machen…

Im ersten Teil hatte ich mich mit den Gründen für sinkende Teilnahmebereitschaft in Online-Panels und eine stetig steigende Panel-Mortalität auseinandergesetzt. Untern anderem wurde hierbei der Punkt Surveytainment bzw. die Art und Weise der in Online Panels durchgeführten Umfragen angerissen. Ich möchte nun noch etwas ausführlicher auf diesen Punkt eingehen, da die Qualität der in Online Panels durchgeführten Umfragen mit Sicherheit einen sehr großen Einfluß auf die Panel Mortalität hat – immerhin ist es Hauptziel und -zweck eines Panels, Online-Umfragen unter den Panelisten durchzuführen.

Im Anschluß möchte ich dann gerne noch einige Lösungsansätze für die angesprochen Problematik rückläufiger Teilnahmeraten vorstellen und eine Vorstellung davon geben, wie ich mir Online Panels in Zukunft vorstelle. Mal sehen, ob ich das alles in diese Folge II gepackt bekomme. Andernfalls muß halt eine Folge III herhalten…

Surveytainment… also: wie kann ich Umfragen für den Probanden/Teilnehmer möglichst spannend und entertaining gestalten um die Teilnahmebereitschaft an Umfragen langfristig zu erhalten? Im Grunde ganz einfach:

Zuerst einmal sollte ich als Forscher mit der gleichen Sorgfalt und Wertschätzung meine Fragen stellen, die ich vom Befragten auch bei der Beantwortung meiner Fragen erwarte. Ist doch selbstverständlich, mag da der geneigte Leser aufschreien. Klar…

sorgfältige Übersetzungen:

sinnvolle Ausfüllanweisungen (weil Tastaturen manchmal so schmieren…):

überlegte Fragestellungen (was macht da jetzt jemand mit mittlerer Reife?):

Es wäre ein einfaches, weitere hunderte Beispiele dieser Art aufzuführen, würde aber den Rahmen sprengen. Was ich damit klar machen will ist, daß noch sehr sehr häufig haarsträubende handwerkliche Fehler in der Fragebogengestlatung und -umsetzung gemacht werden und dies nicht immer vom Panel-Betreiber selbst, sondern auch häufig vom beauftragenden Institut.

Ich habe aber erst neulich zwei interessante Blogeinträge von Olympiamilano zum Thema Matrixfragen in Online-Umfragen gelesen:

- Surveytainment at its best #2
- Matrixfragen – Online eigentlich Unsinn!

Im Grunde klingt mir das sehr einleuchtend und jeder der einmal eine mit elend langen Matrixfragen gespickte Online-Umfrage mitgemacht hat, wird bestätigen, daß das Unsinn ist und dieser Fragetyp für ein Selbtausfüllerinterview gänzlich ungeeignet ist. Trotzdem scheint die Skalenabfrage über diverse Items des Marktforschers liebstes Kind zu sein… Mir drängt sich da häufig das Gefühl auf, der Befragte wird gar nicht mehr als Konsument/Kunde/Mensch gesehen, sondern als Datenproduzent, der möglichst ausgiebig “gemolken” werden soll. Ob ich den Menschen dabei noch zu authentischen, spontanten, ehrlichen Antworten bekomme ist eher zweitrangig, wichtig scheint zu sein, möglichst viel Datenmaterial anzuhäufen…

Eine Frage, die immer hilfreich ist um festzustellen, wie Befragungstauglich oder eben nicht, ein Fragebogen ist:

“Würde ich diesen Fragebogen selbst mit entsprechender Sorgfalt und Konzentration bis zum Schluß beantworten?”

Wenn Ihre Antwort darauf “NEIN” ist: Ändern Sie den Fragebogen ab. Kürzen Sie Fragen heraus oder variieren Sie unterschiedliche Fragetypen, modellieren Sie um. Vielleicht muß sogar das gesamte Studiendesign geändert werden? Die Maxime “Klasse statt Masse” sollte hier auf alle Fälle gelten. Lieber habe ich weniger Datenmaterial, dieses aber durch ehrliche und sinnvolle Beantwortung der Fragen erzielt, als einen Haufen Material von Durchklickern und genervten Probanden.

Und damit haben wir auch schon einen ersten – zugegebenermaßen recht banalen – Lösungsvorschlag für verbesserte Teilnahmebereitschaft und Verweildauer in Online-Panels geliefert: Bessere Umfragen – angepasst an die Gegebenheiten des Internets, an die Besonderheiten bei Selbstausfüllerinterviews und an die Strapazierfähigkeit der Probanden.

Natürlich sollen aber auch ein paar “more sophisticated” Ideen vorgestellt werden, wie man schwindender Teilnahmebereitschaft in Online-Panels entgegentreten kann.

Zum ersten – bereits in Einsatz und von uns erfolgreich angewendet: Unser Panelist Motivation Score – Ein Tool welches anhand der Umfragenhistorie die individuelle Motivation der Probanden „misst“ und somit ein verbessertes Einladen zu Studien ermöglicht.

Und wie funktioniert’s?
Wir unterstellem jeden Panelisten eine Grundmotivation an Umfragen teilzunehmen, ansonsten hätte er/sie sich aller Wahrscheinlichkeit nach nicht im Panel angemeldet. Diese Motivation ändert sich nun bei jeder Einladung zu einer Umfrage, je nachdem wie diese ausgeht:

1. Darf der Panelist vollständig beantworten, steigt der Motivation Score
2. Wird er ausgescreent, bricht er ab oder läuft er in eine volle Quote, sinkt die Motivation, da das Ziel, an Umfragen teilzunehmen, ja nicht erreicht wurde.

Weil das zu einfach wäre, wird der Algorithmus noch durch ein paar weitere Variablen wie z.B. Einladungshäufigkeit, Verweildauer im Panel, Bonuspunktestand, etc. angereichert und schon haben wir einen individuellen Motivationsscore für jeden Panelisten. Dieser Score wird nun wie folgt bei der Ziehung von Stichproben eingesetzt:

Bei einem niedrigen Motivationsscore laden wir bevorzugt zu Umfragen mit hoher Beendigungswahrscheinlichkeit ein. Bei Umfragen mit niedriger Beendigungswahrscheinlichkeit würden wir entsprechend bevorzugt Teilnehmer mit einer hohen Motivation einladen. Hier sei ergänzend darauf hingewiesen, daß wir leider nicht immer auf Studien mit hoher Beendigungswahrscheinlichkeit (also hohe Inzidenz) zurückgreifen können. Daher „kreiern“ wir s.g. Motivationsstudien, bei welchen jeder teilnehmen darf.

Was bringt’s? Viel! In einer Testphase von 3 Monaten konnten wir bei der Gruppe mit Motivationsscore eine um 6% höhere Teilnahmebereitschaft feststellen, als in der Testgruppe ohne Motivationsscore. Auch seit der festen Einführung des PMS in unserem Panel haben sich die Teilnahmeraten stabilisiert und z.T. sogar erhöht, wobei das Messen hier etwas schwieriger ist, da im tgl. Panel-Management natürlich noch weitere Effekte (unterschiedliche Incentives, Neurekrutierungen, inaktive, …) eine Rolle spielen.

Für uns lässt sich festhalten: ein wertschätzender und respektvoller Umgang mit unseren Panelteilnehmern gepaart mit dem Einsatz des Panelist Motivation Score hilft eindeutig, die Teilnahmebereitschaft der Probanden zu verbessern.

Trotzdem – ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs (hoffentlich recht bald in den nächsten Tagen!) eingehen.

Überall stolpert man in der Branche derzeit über die Themen Panelmortalität und Teilnahmebereitschaft. Wie kann man Teilnahmebereitschaft erhalten und Panelmortalität senken? Gerade uns Panelanbieter beschäftigt dieses Thema derzeit brennend, da hier natürlich der Kern unserer Daseinsberechtigung betroffen ist.

Erst vor kurzem habe ich zu diesem Thema einen Vortrag auf dem 10jährigen Firmenjubiläum der Globalpark AG gehalten und möchte hier eine kurze Zusammenfassung über unsere Sicht der Dinge geben bzw. auch konkrete Verbesserungsvorschläge machen.

Da ich feststellen mußte, daß die Ausarbeitung zu diesem Thema für einen Artikel etwas zu lang ist (und auch entsprechend Zeit in Anspruch nimmt), habe ich mich entschieden, mehrere Folgen dieses Blogs zu veröffentlichen. Hier nun also Folge I:

Fakt ist sicherlich, daß über alle Panels hinweg eine sinkende Teilnahmebereitschaft zu verzeichnen ist. Erst letzte Woche rief eine überaus nette Vetriebsdame eines weiteren Panelbetreibers bei uns an und erzählte uns im Rahmen einer Angebotsanfrage erfreut von “derzeit außerordentlich tollen Response Rates in Spanien um die 10 Prozent” … Hä? Heißt das, es ist inzwischen erfreulich, wenn auf 100 Email-Einladungen gerade noch 10 Panelisten reagieren? Bei einem anderen Panelanbieter haben wir – eigenen Berechnungen nach – eine durchschnittliche Response Rate im dt. Panel von 15% gemessen und natürlich verzeichnen auch wir im eigenen Online-Panel opinion-people eine über Zeit rückläufige Antwortbereitschaft.

Woran aber liegt das nun? Ich denke, daß wir es mit drei großen Problemen zu tun haben.

1. Umfragen sind i.d.R. nicht so sexy, wie es dem Teilnehmer bei Rekrutierung ins Panel bzw. bei Einladung zur entsprechenden Umfrage gerne weißgemacht wird.

3. Die Art und Weise wie Interviews für einzelne Umfragen über Panels generiert werden, muß über Zeit zwangsläufig zu fallenden Response-Rates führen.

Getreu dem Motto “What you see isn’t always what you get” wird potentiellen Teilnehmern gerne der Umfrage-Himmel auf Erden versprochen: “Verdienen Sie je Umfrage bis zu 15,00 Euro”, “Spannende Umfragen”, “Beeinflußen Sie die Welt von Morgen”, “Ihre Meinung ist bares Geld wert”, …

Mal im Ernst: Meinen Sie, die Beantwortung einer 45minütigen Conjoint-Umfrage ist spannend? Oder die Beantwortung von Matrixfragen mit 10erSkala und 25 Statements zum Thema Finanzprodukte? Meinen Sie es macht Spaß, bei durchschnittlich 8,4 aus 10 Einladungen ausgescreent zu werden oder aber mitgeteilt zu bekommen, daß man zu spät dran ist? Oder für einen 30-Minüter mal eben mit 1,00 € abgespeist zu werden, wo bei Registrierung im Panel von bis zu 15,- € die Rede war? Eben.

Diese Zahl von 16% Beendigungsquote ist übrigens herausgekommen bei einem Selbsttest bei 5 großen Online-Panels über einen Zeitraum von ca. 6 Monaten. Gemeinsam mit zwei Mitarbeitern haben wir alle Einladungen, Teilnahmen usw. im Zeitraum von 7. Januar bis 16. Juni gezählt und dabei kam folgendes Ergebnis zustande:

- Ich darf nur in 16% aller Fälle überhaupt vollständig teilnehmen
- Dann muß ich im Schnitt 20 Minuten Zeit aufwenden
- Und erhalte dafür durchschnittlich 0,89 €

Nochmal zur Erinnerung:
- Spannende Umfragen
- Geld Verdienen
- Produkte mitentwickeln
- … sehen in meinen Augen anders aus.

Ich glaube die Realität ist nicht das, was sich Panelteilnehmer unter diesen Punkten vorgestellt haben…

Weiterhin muß die Art und Weise, wie quasi alle Panels derzeit betrieben werden meines Erachtens zwangsläufig zu rückläufiger Teilnahmebereitschaft führen.

In etwa ist der klassische Ablauf bei Online-Panels wie folgt:

1. Schritt: Ich suche teilnahmewillige Personen: „Bitte, bitte werde Teil meines Panels!“

3. Schritt: in 8 aus 10 Fällen: „Ällabätsch – jetzt darfst Du doch nicht teilnehmen!“

Das muß sich ein bißchen so anfühlen, wie wenn man wochenlang von einem Flirtpartner angebaggert wird (mit Dinner for two, Kerzenschein, Geschenken und allem was dazu gehört) um dann einen waschechten Korb zu bekommen…

Um das Ganze nochmals etwas theoretischer darzustellen:

Wir sprechen möglichst viele Menschen auf unterschiedlichste Art und Weise an und schaffen es tatsächliche einige wenige davon zu überzeugen, sich in unserem Panel zu registrieren. Dann verkaufen wir einzelne Projekte und ziehen projektbezogen Stichproben aus dem Panel, von welchen dann letztlich im Schnitt ca. 16% das Projekt beenden dürfen. Psychologisch für die restlichen 84% nicht gerade toll und auch bei den 16% die beantworten durften (oder mussten) kommt’s drauf an wie gut, spannend und kurzweilig der Fragebogen war, mit welchem Gefühl sie aus der Befragung kommen.

Ich glaube, daß dieses Vorgehen eher suboptimal ist und gute Gründe liefert, früher oder später auf Umfrageeinladungen nicht mehr zu reagieren, oder aber – und das wäre für die Ergebnisse noch fataler – das Antwortverhalten zu ändern um sich für Umfragen zu qualifizieren oder um sich möglichst schnell durch langweilige Umfragen zu klicken.

Zum Thema Surveytainment bzw. “wie spannend und entertaining sollte und wie langweilig darf ein Fragebogen sein” und zu Vorschlägen, wie man der sinkenden Teilnahmebereitschaft entgegenwirken kann, dann in der nächsten Folge mehr!