It can happen all the time and of course it did happen before, that we had to refuse to start an online study because of a very, very bad study design. Nevertheless, this time I thought I’d write some short notes on it, simply because I think that this issue is very important and somehow underestimated.

And of course I’m posting this blog-entry because I hope to get a discussion started and hear back your thoughts on this issue!

In a nutshell this is what happened: We won a project from a client, which sounded fair and easy in the very beginning. During our project managers test of the survey we found the whole study design to be more or less one big grid question and including a plausibility-check at the very end of one page. This check would exclude all panelists who would not answer a certain grid-item with a certain scale-item (where the right answer had nothing to do with a candid answer on that certain item).

Don’t get me wrong, I completely agree with plausibility-checks but I do also believe that researchers need to make sure, that surveys are engaging or – if this is not possible for any reason – at least not disencouraging. But the combination of a very long and boring survey and a plausibility-check if respondents would not keep up their concentration over a bunch of grid questions with up to 30 items, isn’t something which I think is helpful for better data quality.

I agree that online panel providers are responsible for panel quality and maintenance but my point is that good data quality can only be delivered if – next to a quality panel – the study design delivers good quality as well. If there is a lack on questionnaire-quality, we cannot be responsible for high drop-out rates or cheaters. BTW: I think we cannot even name those cheaters who are “straightlining” due to fact that the same-looking odd grid question is asked (of course slightly modificated) 3-5 pages in a row where people would have to scroll down on every page to see the last items. Would you remain to answer seriously and with the same concentration after the 20th item?

Back to the story: We finally decided not to start this project and – as it looks right now – lost an interesting client. It wasn’t just the fact that the study design was that bad, but also that participants would have been excluded if they – in my opinion understandably – would have lost concentration at some point of the survey and therefore would have been the ones to be blamed for a disencouraging and bad survey design. Putting high quality expectations on a fieldwork provider but in return not delivering quality in the study design didn’t seem to be a fair deal for us. Especially not, as we would have been the ones to pay for it due to high dropout- and “cheater”-rates.

Now I would be interested in your thoughts: Would you field such a survey? Would you – as a client – expect your panel-provider to start a project like that? Would you accept even major changes on your survey design? How do you cope with issues like that?

Letzten Dezember hatte Christoph Irmer in diesem Blog eine Artikelserie (Quo Vadis Online Panels Teil 1, Teil 2 und Teil 3) veröffentlicht, in der er ganz grundsätzlich die Praxis der Panelanbieter auf den Prüfstand stellte. Zum Abschluss der Reihe wurde darin die erste grobe Idee eines Masterscreeners vorgestellt, in den wir große Hoffnungen zur Verbesserung der Panelperformance legten – und im selben Zug auch erste Erfahrungsberichte mit dieser neuen Maßnahme angekündigt.

Voila! Fast ein halbes Jahr später haben wir nun die ersten Ergebnisse auf der GOR 2010 vor einem kritischen Fachpublikum vorgestellt. Und – so viel darf man schon vorweg nehmen – die Resonanz war durchweg recht positiv.

Der Vortrag begann mit einer kurzen Zusammenfassung der Probleme, auf die wir mit dem Masterscreener reagieren wollten. Unsere beiden Hauptziele waren eine höhere Beendigungswahrscheinlichkeit bei Umfragen und eine höhere Motivation der Panelisten. Daher wurden von den vielen Eigenstudien, die wir zum Masterscreener durchgeführt hatten, exemplarisch die beiden Untersuchungen vorgestellt, die eine Antwort darauf geben konnten, ob wir unseren Zielen näher gekommen waren.

Die erste Untersuchung betraf eine einfache Auswertung der Panelperformanzdaten, wie sie standardmäßig für jeden Panelisten erhoben werden. Hier wurde das erste Quartal 2009 (ohne Masterscreener) mit dem ersten Quartal 2010 (mit Masterscreener) verglichen – und zwar für aktive Bestandspanelisten, die regelmäßig am Masterscreener teilgenommen haben. „Aktiv“ bedeutet hier, dass die Panelisten eine überdurchschnittliche Teilnahmebereitschaft aufweisen – was der Tatsache geschuldet war, dass in den drei Monaten der Vergleichszeiträume auch ausreichend Performanzdaten angefallen sein mussten, um einen Vergleich durchführen zu können. Das Ergebnis kann sich sehen lassen: die Beendigungswahrscheinlichkeit hat sich verdreifacht – was unter anderem bedeutet, dass unsere Panelisten nun mehr positive als negative Erlebnisse haben, wenn sie eine Umfrage beginnen.

Insofern verwundert es auch nicht, dass die Zufriedenheit mit der Panelmitgliedschaft in unserer zweiten Studie für solche Panelisten höher ist, die regelmäßig am Masterscreener teilgenommen haben. Vor allem der gute Wert bei der Weiterempfehlungsbereitschaft der Panelmitgliedschaft – also nicht nur die einfache Motivation unserer Panelisten, sondern sogar die Motivation andere Menschen zu motivieren – spricht für die positiven Effekte des Masterscreeners.

Wenngleich also aus unseren Erfahrungen ein recht positives Zwischenfazit zu ziehen war, schloss der Vortrag mit einer kurzen Diskussion von Problemfeldern, denen wir uns in der Zukunft noch intensiver zuwenden möchten. Alles in allem aber – so auch das Feedback, das wir nach dem Vortrag bekommen haben – sind wir auf dem richtigen Weg!

Der Trend im Netz geht deutlich in Richtung Bewegtbild…Dem schließen auch wir uns an!

Um unseren Interessenten und Panelisten den Registrierungsprozess auf opinion people noch besser zu veranschaulichen, haben wir seit gestern einen kleinen Animationsfilm online gestellt.

Diese Quicktour zeigt Schritt für Schritt, was nach Erhalt einer Einladung zu opinion people getan werden muss, um ein aktives Panelmitglied zu werden. Doch sehen Sie selbst.

Quicktour (inkl. Sound) die Erste…uuuund Action!!!

(deutsche Version weiter unten)

In early April, ODC Services GmbH was awarded certification by Austrian Standards Plus GmbH. The online fieldwork provider from Munich thus confirmed its leading position as a quality service provider.

“Certification in accordance with ISO 26362 was a logical step for us and is really just a matter of course. As a provider of high-quality online fieldwork, we intend to use the certification to continue to meet our customer’s high quality requirements and live up to the trust they place in us,“ said Christoph Irmer, CEO of ODC Services. “Of course we are also aware of the responsibility that comes with this endorsement: complying with quality requirements and constantly refining and improving work processes and standards go hand in hand with this certification.“

Dr. Holger Muehlbauer, audit manager on behalf of the Austrian Standard Plus GmbH, also expressed his approval: “For us it is very gratifying to see that ISO 26362 certification appeals to companies and customers alike. And we are particularly pleased that such a well-known and reputable field service provider such as ODC Services has now received the certificate. This is a welcome result of the International Standards Organization we helped develop and we believe that the certification will lead to more quality and transparency in cooperation with access panels.“

The basis for certification was developed by the German Society for Online Research (DGOF), the Association of German Market and Social Research Institute (ADM) and Austrian Standards Plus GmbH. It sets high quality standards for everything from the recruitment of panel members to the fieldwork itself and to reporting. The certificate is intended to provide customers of online panel operators with more certainty in selecting qualified suppliers.

Deutsche Version:
Anfang April erhielt die ODC Services GmbH die Zertifizierungsurkunde der Austrian Standards Plus GmbH. Der Münchner Online-Felddienstleister verdeutlicht damit seine führende Stellung als Qualitätsanbieter.

“Die Zertifizierung nach ISO 26362 war für uns ein logischer Schritt und im Grunde selbstverständlich. Als Qualitätsanbieter im Bereich der Online-Feldarbeit wollen wir durch die Zertifizierung den Qualitätsansprüchen unserer Kunden weiter Rechnung tragen und das uns entgegengebrachte Vertrauen bestätigen”, so Christoph Irmer, CEO bei ODC Services. “Selbstverständlich sind wir uns aber auch der Verantwortung bewusst, die eine solche Zertifizierung mit sich bringt: Die Einhaltung der Qualitätsauflagen so wie beständiges Weiterentwickeln und Verbessern der Arbeitsabläufe und Standards sind für uns im Rahmen dieser Zertifizierung ein Muss.”

Positiv äußert sich auch Dr. Holger Mühlbauer, Audit-Leiter im Auftrag der Austrian Standard Plus GmbH: “Es ist für uns sehr erfreulich zu sehen, dass die Zertifizierung nach ISO-Norm 26362 entsprechenden Anklang findet und umso mehr freut es uns, dass mit der ODC Services GmbH nun ein anerkannter und renommierter Felddienstleister das Zertifikat bekommen hat. Dies ist ein begrüßenswertes Resultat der von uns aktiv begleiteten internationalen Dienstleistungsnormung und wir sind überzeugt, dass die Zertifizierung zu mehr Qualität und Transparenz in der Zusammenarbeit mit Access Panels führen wird.”

Die Zertifizierungsgrundlage wurde von der Deutschen Gesellschaft für Online-Forschung (DGOF) und dem Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) gemeinsam mit der Austrian Standards Plus GmbH entwickelt. Sie stellt hohe Ansprüche an die Qualität, von der Rekrutierung der Panelmitglieder über die Feldarbeit bis hin zum Reporting. Das Zertifikat soll Kunden von Online-Panelbetreibern mehr Sicherheit bei der Auswahl qualifizierter Anbieter geben.

Ich erinnere mich noch ganz genau an das erste Brainstorming zum angehenden Relaunch unserer Panel-Website opinion people: “Alles einfacher, alles dynamischer, alles übersichtlicher…”

Von den ersten Ideen bis zur finalen Umsetzung ist jetzt auch endlich der letzte Schritt geschafft: DER RELAUNCH (zunächst in der deutschsprachigen Version)

Das neue Gesicht unseres Marktforschungspanels ist noch hübscher, emotionaler, witziger und strukturierter…

Aber was erzähl ich Ihnen…Überzeugen Sie sich doch einfach selbst!

Nachdem Anfang des Jahres die übliche Erneuerung von Auswahlmöglichkeiten in den Profilfragebögen unserer verehrten Panelteilnehmer anstand, haben wir uns gleich Gedanken gemacht, wie man die Profile sinnvoll erweitern oder auch zusammenfassen kann.

Was ist bei einer Erhebung von Selektionskriterien für unsere Kunden zu beachten?

Zunächst sind alle Auswahlmöglichkeiten mit Jahreszahlen um die Auswahlmöglichkeit “2010″ zu erweitern. Gut, klar.
Weiterhin haben wir uns entschlossen, die bisher 11 Profile für unsere Panelteilnehmer auf zukünftig 6 zu reduzieren.

Die Bereiche “Internet& Technologie” und “Medien” werden zusammengefasst, genauso wie “Interessen&Hobbies”, “Sportfan” und “Reisen” zu einem neuen Profil wird.
Die gesamte Zusammenfassung sehen Sie in folgender Abbildung:

Außerdem ist natürlich wichtig, welche neuen Variablen für unsere Auftraggeber interessant sein könnten.

Im Bereich der Kaufintention oder dem Besitz elektrischer Geräte sind HD Fernseher, Tablet-PCs und Smartphones in und besonders gefragt.
Internetprovider fragen wir seit einem halben Jahr auch wieder ab. Hier sind besonders die UMTS Verträge interessant (Nach der Nutzung fragen wir extra).

Bei der Auswahl des Berufs gehen wir nach der International Standard Industrial Classification (ISIC). Weil hier aber sehr viele Dienstleistungen zusammengefasst sind und die Unterkategorien des “produzierenden Gewerbes” nochmal gesondert abgefragt wurden, haben wir die Liste um einige Auswahlelemente erweitert, so dass nun jeder bei der Branchenauswahl eine geeignete Antwort finden sollte.

Das Thema “grüne Energie” haben wir als eines der ersten Online-Panels aufgegriffen und fragen nach Verwendung oder Intention der zukünftigen Verwendung verschiedener alternativer Energien.

Statt einzelner Fernsehsender werden beim Pay-TV Abo gefragt, welche Pakete man den abonniert hat (Sport, Spielfilm, Kinder, …).


Und schliesslich geht es auch ums Ausmisten von Variablenausprägungen, die einfach zu wenig genannt werden oder die noch nie angefragt wurden.
Hier sind z.B. einige seltene Krankheiten, Banken (ja, auch im Rahmen der Finanzkrise verändern sich Variablen), alte Automodelle,

Die Auflistung von TV Sendern, die man “zumindest gelegentlich” mal anschaut, haben wir auch weggelassen, weil wir den Panelisten keine Liste mit 50 Fernsehsendern zumuten wollen, von denen jeder seine 10 Favoriten raussucht.

Anregungen und Kritik von Kundenseite sind übrigens sehr willkommen. Schliesslich erheben wir diese Daten doch für Sie!

Die ersten Tage eines neuen Jahres gelten meist dem Abschluss des Vorgängerjahrs. Die letzten Daten werden behutsam in die bestehenden Statistiken eingepflegt und man findet nebenbei ein wenig Zeit, sich mit den Zahlen auseinanderzusetzen. Auch ich habe hier ein wenig gestöbert und dabei ist mir im Feedback, das uns die Panelisten zu den Umfragen geben, ein interessanter Effekt aufgefallen.

Die Beurteilung der Länge einer Befragung durch die Befragten korreliert mit der tatsächlichen Länge: je kürzer die Umfrage ist, desto besser das Urteil. Soweit, so unspektakulär. Kontrolliert man diese Korrelation jedoch statistisch auf die Zufriedenheit mit allen anderen Aspekten der Umfrage, so nimmt die Stärke des Zusammenhangs deutlich ab (bleibt aber schwach erhalten). Mit anderen Worten: wenn Inhalt und Bedienbarkeit einer Umfrage positiv erlebt werden, führt eine längere Befragungszeit weniger stark zur Unzufriedenheit.

Dieses Ergebnis passt gut in die aktuelle Diskussion ums Surveytainment – geht es hier nicht stark vereinfacht um die Frage, wie man die Teilnehmer an Umfragen möglichst lange bei Laune halten kann? Wohlgemerkt bezieht sich das vorliegende Ergebnis aber nicht auf Befragungen, die nahe am multimedialen Overkill liegen und vorwiegend aus Flash-Spielchen à la „Karten ins Körbchen“ bestehen, sondern um den breiten Durchschnitt der Befragungen – und dieses Spektrum reicht von recht kurzweiligen Studien bis hin zu langwierigen, redundanten Befragungen. Um den Befragten längere Umfragen zumuten zu können, müssen also nicht unbedingt Mickeymäuse am Bildschirmrand Polonaise tanzen (so ein Verständnis von Surveytainment würde mir nebenbei bemerkt ohnehin eher Angst einflößen), sondern ein verständliches Fragenkonzept und eine einfache Bedienbarkeit der Umfrage haben bereits gute Effekte.

Bleibt die Frage, was man mit dieser Erkenntnis für das noch junge Jahr anfängt? Nun, man kann sich zumindest die implizite Anmahnung der Sorgfaltspflicht bei der Feldarbeit zu Herzen nehmen. Und da man Inhalt und Länge einer Befragung nur selten einer größeren Unterhaltsamkeit preisgeben möchte, muss das Augenmerk umso stärker auf  der einwandfreien Bedienbarkeit liegen. In diesem Sinne: ein gutes und unterhaltsames Jahr 2010!

Ein freundliches Hallo zum dritten und letzten Teil meines Blogs, mit dem ich meine ganz persönliche Einschätzung zur aktuellen Lage von Online Access Panels zum Besten gebe.

Hier findet der geneigte Leser übrigens zu den ersten beiden Artikeln: Teil 1; Teil 2

Zum Ende des Vorgänger-Blogs hatte ich ja versprochen, das meines Erachtens grundlegende Problem von Online Access Panels angehen zu wollen:

“… [] Ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs eingehen. “

Und bitte schön, hier kommt unser Vorschlag:

Wie würde es denn aussehen, wenn wir das Panelmanagement sowie die Durchführung von Online-Umfragen in Online-Panels nicht mehr projektbezogen, sondern panelbezogen angehen? Was meine ich damit?

Bisher gehen Online-Panels i.d.R. so vor, daß sie projektbezogen Gruppen aus dem Online-Panel vorselektieren und einladen. Wie in Teil 1 dieses Beitrags bereits erwähnt, führt dies zu extrem hohen Screenoutraten und in der Konsequenz logischerweise zu viel Frustration beim Probanden.

Hier müssen wir ansetzen und aus Qualitäts- und Quantitätsgründen die Beendigungswahrscheinlichkeit in Online-Umfragen deutlich erhöhen! Klar: Kunden haben meist sehr genau Vorstellungen, wie Ihre Zielgruppe auszusehen hat und häufig sind diese sehr eng gefasst. Dies natürlich auch häufig zurecht und so wird es sich dauerhaft nicht vermeiden lassen, sprichtwörtlich nach der Nadel im Heuhaufen zu suchen. Die Frage, die ich mir hierbei aber stelle: “Muß das auf Projektebene stattfinden?”

Wie wär’s denn damit:

Die Zielgruppensuche findet – statt projektbezogen – ständig und fortlaufend in einer dynamischen Masterumfrage statt. Diese wird (für jedes Panelland) durchgeführt und ständig durch das Hinzufügen und Herausnehmen von Screeningfragen an die jeweils laufenden Projekte angepasst. Teilnehmer des Online-Panels werden nun fortlaufend befragt und die Probanden anhand Ihrer Ergebnisse in entsprechende Gruppen gespielt, je nachdem für welche(s) Projekt(e) sie sich qualifiziert haben.

Somit habe ich – zumindest theoretisch – die Zielgruppen für einzelne Projekte vorgescreent und kann nun tatsächlich Probanden auf Umfragen einladen, die sie mit sehr, sehr hoher Wahrscheinlichkeit beenden können.

Der Ablauf im Detail ist wie hier aufgezeigt:

Die Vorteile (bzw. korrekterweise angenommenen Vorteile):

• schon durch seine Teilnahme an der Mastersurvey nimmt der Proband an einer (incentivierten) Umfrage teil ohne ausgescreent zu werden
  
• die Einladung für weitere Projekte erfolgt anhand der Antworten aus der Mastersurvey – somit wird im Grunde nur noch eingeladen, wer in die entsprechende Zielgruppe passt
  
• das Frustrationslevel der Teilnehmer nimmt ab, da das frustrierende “Sie gehören diesmal leider nicht zur Zielgruppe” weitestgehend entfällt
  
• den Panelisten wird dauerhaft der Grund genommen, sich durch antrainiertes, geändertes Antwortverhalten für Umfragen zu qualifizieren – wenn er eine Einladung zu einer Umfrage erhält, darf er im Normalfall auch tatsächlich an dieser Umfrage teilnehmen!
  
• auf lange Sicht sollte dies zu verbesserter Datenqualität führen
  
• die Panelmortalität wird gesenkt

Natürlich gibt es aber auch hier einige Knackpunkte, die noch weitergehend überprüft und ggf. “nachbearbeitet” werden müssen:

• Wie funktioniert eine Aneinanderreihung von Screeningfragen aus unterschiedlichen Studien in einer solchen Master-Survey?
  
• Wie reagieren Kunden auf dieses Vorgehen?
  
• Nach welchen Kriterien priorisiere ich die parallel laufenden Projekte, wenn Panelisten in mehrere Zielgruppen passen, sich also für mehrere Projekte qualifizieren?
  
• Wie gehe ich mit der Master-Survey bei zeitkritischen Projekten um?
  
• Wie häufig müssen Panelisten künftig auf die Mastersurvey eingeladen werden?

Wir führen derzeit in unserem deutschen Panel seit Anfang Dezember einen Test durch und machen hier bisher sehr positive Erfahrungen:

• Die erzielten Inzidenzraten in der Mastersurvey haben sich bisher sehr gut mit den angegebenen Erfahrungswerten unserer Kunden gedeckt, so daß davon auszugehen ist, daß es hier keine Verzerrungen durch Falschantworten gibt
  
• Bis auf ein paar wenige Ausnahmen (abweichend von Studie zu Studie) sind die Probanden auch in Ihren Antworten bei Mastersurvey und in den tatsächlichen Kundenumfragen konsistent.
  
• Die Beendigungswahrscheinlichkeit konnte bei den involvierten Studien signifikant erhöht werden, woraus wir uns mittel- bis langfristig eine deutlich verbesserte Teilnahmebereitschaft erhoffen.

Die Ergebnisse dieser Studie werden wir übrigens Anfang des Jahres gerne publizieren (Art, Ort und Medium werden noch bekanntgegeben ).Nun gilt es, die ersten Erfahrungen auszubauen, dieses Vorgehen im Panel zu etablieren und unsere Kunden hiervon zu überzeugen.

Ich bin überzeugt davon, daß wir die Teilnahmebereitschaft an Online-Umfragen und damit die Erhebung valider und ehrlicher Daten nur dann dauerhaft sicherstellen können, wenn wir das “Erlebnis Online-Umfragen” für den Probanden wieder deutlich weniger frustrierend und nutzerfreundlicher gestalten! Dieses Vorscreener über eine Masterumfrage ist m.E. ein vielversprechender Weg und ich halte Interessenten natürlich gerne über die Entwicklung auf dem Laufenden.

In diesem Sinne freue ich mich auf eine angeregte Diskussion (per Twitter, über die Kommentarfunktion, per Email, persönlich, … )

Wie in vorherigen Blog-Einträgen bereits angedeutet, beschäftigen wir uns momentan verstärkt damit, wie es gelingen kann die Qualität der in Online Panels durchgeführten Umfragen zu verbessern und diese für den einzelnen Teilnehmer spannender zu gestalten.

Denn jeder, der bereits einmal an einer Online-Umfrage teilgenommen hat, wird festgestellt haben, dass diese in den seltensten Fällen spannend gestaltet sind. Vielmehr zeichnen sich die derzeit online durchgeführten Umfragen oftmals durch z.B. eine Abfolge von Matrixfragen aus und wirken entsprechend monoton und langweilig. Um dem entgegen zu wirken, haben wir bei ODC Services verschiedene neue Fragetypen entwickelt, die auf die Interaktivität mit den Usern abzielen.

Um beim Beispiel der Matrixfragen zu bleiben, haben wir als neues Tool unsere sogenannte Flash-Skalenklick-Matrix entwickelt, bei der die Matrixattribute dem User nacheinander präsentiert werden. Sobald die Bewertung durch Klicken auf die Skala erfolgt ist, verschwindet das aktuelle Attribut und das nächste rückt zur Bewertung in den Vordergrund. Wie genau dieser Fragetyp und die vielen neuen anderen Features funktionieren, können Sie sich in der nachfolgenden Musterpräsentation ansehen.

Viel Spaß!