Letzten Dezember hatte Christoph Irmer in diesem Blog eine Artikelserie (Quo Vadis Online Panels Teil 1, Teil 2 und Teil 3) veröffentlicht, in der er ganz grundsätzlich die Praxis der Panelanbieter auf den Prüfstand stellte. Zum Abschluss der Reihe wurde darin die erste grobe Idee eines Masterscreeners vorgestellt, in den wir große Hoffnungen zur Verbesserung der Panelperformance legten – und im selben Zug auch erste Erfahrungsberichte mit dieser neuen Maßnahme angekündigt.

Voila! Fast ein halbes Jahr später haben wir nun die ersten Ergebnisse auf der GOR 2010 vor einem kritischen Fachpublikum vorgestellt. Und – so viel darf man schon vorweg nehmen – die Resonanz war durchweg recht positiv.

Der Vortrag begann mit einer kurzen Zusammenfassung der Probleme, auf die wir mit dem Masterscreener reagieren wollten. Unsere beiden Hauptziele waren eine höhere Beendigungswahrscheinlichkeit bei Umfragen und eine höhere Motivation der Panelisten. Daher wurden von den vielen Eigenstudien, die wir zum Masterscreener durchgeführt hatten, exemplarisch die beiden Untersuchungen vorgestellt, die eine Antwort darauf geben konnten, ob wir unseren Zielen näher gekommen waren.

Die erste Untersuchung betraf eine einfache Auswertung der Panelperformanzdaten, wie sie standardmäßig für jeden Panelisten erhoben werden. Hier wurde das erste Quartal 2009 (ohne Masterscreener) mit dem ersten Quartal 2010 (mit Masterscreener) verglichen – und zwar für aktive Bestandspanelisten, die regelmäßig am Masterscreener teilgenommen haben. „Aktiv“ bedeutet hier, dass die Panelisten eine überdurchschnittliche Teilnahmebereitschaft aufweisen – was der Tatsache geschuldet war, dass in den drei Monaten der Vergleichszeiträume auch ausreichend Performanzdaten angefallen sein mussten, um einen Vergleich durchführen zu können. Das Ergebnis kann sich sehen lassen: die Beendigungswahrscheinlichkeit hat sich verdreifacht – was unter anderem bedeutet, dass unsere Panelisten nun mehr positive als negative Erlebnisse haben, wenn sie eine Umfrage beginnen.

Insofern verwundert es auch nicht, dass die Zufriedenheit mit der Panelmitgliedschaft in unserer zweiten Studie für solche Panelisten höher ist, die regelmäßig am Masterscreener teilgenommen haben. Vor allem der gute Wert bei der Weiterempfehlungsbereitschaft der Panelmitgliedschaft – also nicht nur die einfache Motivation unserer Panelisten, sondern sogar die Motivation andere Menschen zu motivieren – spricht für die positiven Effekte des Masterscreeners.

Wenngleich also aus unseren Erfahrungen ein recht positives Zwischenfazit zu ziehen war, schloss der Vortrag mit einer kurzen Diskussion von Problemfeldern, denen wir uns in der Zukunft noch intensiver zuwenden möchten. Alles in allem aber – so auch das Feedback, das wir nach dem Vortrag bekommen haben – sind wir auf dem richtigen Weg!

Die ersten Tage eines neuen Jahres gelten meist dem Abschluss des Vorgängerjahrs. Die letzten Daten werden behutsam in die bestehenden Statistiken eingepflegt und man findet nebenbei ein wenig Zeit, sich mit den Zahlen auseinanderzusetzen. Auch ich habe hier ein wenig gestöbert und dabei ist mir im Feedback, das uns die Panelisten zu den Umfragen geben, ein interessanter Effekt aufgefallen.

Die Beurteilung der Länge einer Befragung durch die Befragten korreliert mit der tatsächlichen Länge: je kürzer die Umfrage ist, desto besser das Urteil. Soweit, so unspektakulär. Kontrolliert man diese Korrelation jedoch statistisch auf die Zufriedenheit mit allen anderen Aspekten der Umfrage, so nimmt die Stärke des Zusammenhangs deutlich ab (bleibt aber schwach erhalten). Mit anderen Worten: wenn Inhalt und Bedienbarkeit einer Umfrage positiv erlebt werden, führt eine längere Befragungszeit weniger stark zur Unzufriedenheit.

Dieses Ergebnis passt gut in die aktuelle Diskussion ums Surveytainment – geht es hier nicht stark vereinfacht um die Frage, wie man die Teilnehmer an Umfragen möglichst lange bei Laune halten kann? Wohlgemerkt bezieht sich das vorliegende Ergebnis aber nicht auf Befragungen, die nahe am multimedialen Overkill liegen und vorwiegend aus Flash-Spielchen à la „Karten ins Körbchen“ bestehen, sondern um den breiten Durchschnitt der Befragungen – und dieses Spektrum reicht von recht kurzweiligen Studien bis hin zu langwierigen, redundanten Befragungen. Um den Befragten längere Umfragen zumuten zu können, müssen also nicht unbedingt Mickeymäuse am Bildschirmrand Polonaise tanzen (so ein Verständnis von Surveytainment würde mir nebenbei bemerkt ohnehin eher Angst einflößen), sondern ein verständliches Fragenkonzept und eine einfache Bedienbarkeit der Umfrage haben bereits gute Effekte.

Bleibt die Frage, was man mit dieser Erkenntnis für das noch junge Jahr anfängt? Nun, man kann sich zumindest die implizite Anmahnung der Sorgfaltspflicht bei der Feldarbeit zu Herzen nehmen. Und da man Inhalt und Länge einer Befragung nur selten einer größeren Unterhaltsamkeit preisgeben möchte, muss das Augenmerk umso stärker auf  der einwandfreien Bedienbarkeit liegen. In diesem Sinne: ein gutes und unterhaltsames Jahr 2010!