It can happen all the time and of course it did happen before, that we had to refuse to start an online study because of a very, very bad study design. Nevertheless, this time I thought I’d write some short notes on it, simply because I think that this issue is very important and somehow underestimated.

And of course I’m posting this blog-entry because I hope to get a discussion started and hear back your thoughts on this issue!

In a nutshell this is what happened: We won a project from a client, which sounded fair and easy in the very beginning. During our project managers test of the survey we found the whole study design to be more or less one big grid question and including a plausibility-check at the very end of one page. This check would exclude all panelists who would not answer a certain grid-item with a certain scale-item (where the right answer had nothing to do with a candid answer on that certain item).

Don’t get me wrong, I completely agree with plausibility-checks but I do also believe that researchers need to make sure, that surveys are engaging or – if this is not possible for any reason – at least not disencouraging. But the combination of a very long and boring survey and a plausibility-check if respondents would not keep up their concentration over a bunch of grid questions with up to 30 items, isn’t something which I think is helpful for better data quality.

I agree that online panel providers are responsible for panel quality and maintenance but my point is that good data quality can only be delivered if – next to a quality panel – the study design delivers good quality as well. If there is a lack on questionnaire-quality, we cannot be responsible for high drop-out rates or cheaters. BTW: I think we cannot even name those cheaters who are “straightlining” due to fact that the same-looking odd grid question is asked (of course slightly modificated) 3-5 pages in a row where people would have to scroll down on every page to see the last items. Would you remain to answer seriously and with the same concentration after the 20th item?

Back to the story: We finally decided not to start this project and – as it looks right now – lost an interesting client. It wasn’t just the fact that the study design was that bad, but also that participants would have been excluded if they – in my opinion understandably – would have lost concentration at some point of the survey and therefore would have been the ones to be blamed for a disencouraging and bad survey design. Putting high quality expectations on a fieldwork provider but in return not delivering quality in the study design didn’t seem to be a fair deal for us. Especially not, as we would have been the ones to pay for it due to high dropout- and “cheater”-rates.

Now I would be interested in your thoughts: Would you field such a survey? Would you – as a client – expect your panel-provider to start a project like that? Would you accept even major changes on your survey design? How do you cope with issues like that?

After a great start into 2010 and in order to further support our growth objectives, we have recruited and want to welcome three new members to the ODC crew!

…

Esther Herchenröder has joined our Sales-Team as Sales Manager Germany. She brings extensive research experience from jobs at DocCheck, OpinionWay and SmartTabs. Esther used to live in Mexico for the past year where she set up her own language school serving companies whith language lessons mostly in German and English. She speaks 4 languages and holds an MBA in International Marketing from the European School of Business, Reutlingen.

…

The Project Management Team has a new member with Denis Kähmann joining as an intern in project management. Denis studied geography & tourism at the University of Paderborn. After moving to Munich he collected first working experience in the online sector at Cable One Multimedia and is now keen on his new role in online research! At ODC Services GmbH Denis will be responsible for supporting the project management team in customer service, programming of online surveys, conducting international market research projects and data analysis.

…

Carlo Morabito is fresh to our Panel Management and -Development Team. A native Italian from Catania, Sicily, Carlo started as a Support-Agent for our Italian Panel opinion-people in April 2009. Since April 2010 he’s now working with us as an intern and helps the panel-management with the administration of the panel web site and its construction. He is currently finishing his studies in communication science at the University of Catania, Italy.

Together with our dear colleague Thomas Donath from Nordlight Research I had the opportunity to present a study we conducted to find out, if a wisdom of crowds-approach to election prognosis could potentially compete with or even outperform traditional methods for election research.

With this short blog-entry I`d like to give you a short summary on the speech. Hope you enjoy it and of course your comments are welcome!

“The Wisdom of Crowds”, a book written by James Surowiecki in 2004 about the aggregation of information in groups, claims the many to be smarter than the few. According to Surowiecki, four key criteria have to be met to enable a large group (crowd) to make accurate predictions and the right decisions in terms of reaching common goals.

1) Diversity of opinion: a wide range of points of view in the group
2) Independence of opinion: individuals making guesses do not influence each other
3) Decentralization: local and specialised knowledge
4) Aggregation: a mechanism to reach a collective guess or decision

The goal of this study was to obtain a first indication on whether a “wisdom of crowds” approach to election prognosis could potentially compete with or even outperform traditional means of prognosis.

Methods & Data
We asked 2,323 Germans, registered in an online-access-panel, to predict the official outcome of the German “Bundestagswahl 2009” one week in advance. There were three major differences to surveys executed by institutes like “Forschungsgruppe Wahlen” or “Infratest dimap”. Firstly, the sample was not representative. Secondly, no weighting of raw data was employed. Thirdly and most importantly, participants were asked to give their own prognosis for all major parties rather than state which party they would vote for the following Sunday.

Results
The main outcome of the study is that – in this single trial – the wisdom of crowds approach yielded a slightly less precise prognosis compared to results of traditional surveys just before the election (sum of absolute difference in percentage points: 10.3 for Wisdom of Crowds vs. 8.4 for e.g. Forschungsgruppe Wahlen and Infratest dimap).
However the precision of the wisdom of crowds approach is still high enough to justify further interest.
Also, a large number of moderator variables such as interest in politics, gender, age, or the knowledge of other prognoses correlate with individual forecast performance.

Based on these results, we shed additional light on the idea of the wisdom of crowds – a method which may be an interesting methodological addition to various research purposes which require prognosis. You might find our charts here:

For more information on this case-study and on our findings, please don’t hesitate to contact either Thomas (thomas.donath [at] nordlight-research.com) or me (ci [at] odc-services.com), or simply use the comment-function!

Am Ostermontag war es mal wieder soweit. Der Radklassiker Rund um Köln stand an und quasi als Warm-Up für das Profirennen, durften wir “Amateure” beim s.g. Jedermann-Challenge in die Pedale treten…

Ursprünglich hatte ich mich mit meinem lieben Rennradl-Kollegen Olaf Hofmann vom Team Skopos großspurig für die 129km-Strecke gemeldet, nachdem ich bis dato aber genau kein einziges mal in diesem Jahr auf meinem Rennradsattel gesessen bin, meldeten wir dann doch noch um auf die etwas kürzere und vermeindlich einfachere Strecke von 69km. Schöner Nebeneffekt war, dass auch Armin, Torsten und Stefan vom Team Skopos mit uns auf die gleiche Strecke gingen. Kurzfristig mußte der liebe Kollege Johannes Mirus leider aus gesundheitlichen Gründen passen – so ist das eben: man sollte nicht in Urlaub fahren, lieber Johannes, da wird man eh nur krank Bei der Gelegenheit möchte ich es aber nicht verpassen, den werten Lesern den tollen Blog von Johannes ans Herz zu legen: http://jc-log.jmirus.de/ – wirklich empfehlenswert!

Wie dem auch sei… bereits am Ostersonntag bin ich mit meiner besseren Hälfte angereist und einer Einladung von Olaf für eine Schlafgelegenheit und ein tolles Abendessen gefolgt. Chapeau, Olaf, Chapeau! Was Du kochtechnisch immer aus dem Hut zauberst ist aller Ehren wert! Ein wunderbares Essen und trotz des Verzichts auf den Wein ein rundum gelungener Abend im Kreise der Familie Hofmann. Danach früh ins Bett, damit wir wenn schon völlig gemästet, dann doch zumindest ausgeschlafen ins Rennen gehen konnten.

Nachdem wir uns am Sonntag abend bezüglich des Wetters noch sehr unsicher waren, so war das Erwachen doch ein sehr erfreuliches: Sonnenschein und ein (fast) wolkenloser Himmel. Es war zwar noch ziemlich kühl, aber wie sagt man…: “Es gibt kein schlechtes Wetter, nur schlechte Kleidung”. Also entsprechend warm eingepackt und dann mit dem Auto auf den Weg von Bonn nach Köln. Dort traffen wir uns dann mit den weiteren Kollegen von Skopos. Die Radln nochmals kurz durchgecheckt, die Ausstattung überprüft und dann machten wir uns auf Richtung Start.

Um Punkt 11.00 Uhr ging’s dann los und gemeinsam mit Olaf machte ich mich auf die Strecke. Wohl etwas zu viel Adrenalin, Selbstüberschätzung und die Erfahrung aus dem letzten Jahr führten dazu, dass ich das fehlende Training unter- und meine eigene Leistungsfähigkeit ordentlich überschätze… Die ersten ca. 16km drückte ich ordentlich auf die Tube. Olaf blieb im Schlepptau und wie ich nach dem Rennen erfuhr, dachte er sich wohl zu diesem Zeitpunt “boah, was für ein Tempo, da kann ich nicht lang mithalten…”. Dumm nur, dass ich nach diesen 16km nicht mehr wirklich mithalten konnte Eigentlich wollte ich dann Olaf die Arbeit machen lassen und mich ein bisschen bei ihm in den Windschatten hängen, an der ersten leichten Steigung mußte ich aber abreißen lassen.

Hier einmal der Streckenplan und das Höhenprofil der wirklich schönen Rundfahrt:

Quelle: www.rundumkoeln.de

Nun ja, ich fuhr also die restlichen ca. 53km mal in kleineren Gruppen, größtenteils jedoch allein. Da offenbarte sich mir auch wirklich am eigenen Leib, was für ein großer Unterschied es doch ist, im Windschatten einer größeren Gruppe mit 35-40km/h locker dahinzuradeln vs. alleine mit ca. 28-30 km/h gegen den Wind zu kämpfen… 2 ordentliche Anstiege und am Schluß eine relative lange Strecke gegen den Wind nach Köln hinein und über die Severinsbrücke hatten es in sich und ließen mich auf der Zielgeraden nicht gerade topfit erscheinen, wie Ihr hier bewundern könnt:

Im Ziel wurde ich von Olaf und einem von Skopos gesponsorten Fitness-/Rad-Team empfangen. Mit 2:10:40 lag ich zwar weit über dem anvisierten Ziel von unter 2 Stunden, aber immerhin bin ich noch irgendwann angekommen Olaf hatte mir saubere 11 Minuten abgenommen und somit das interne Duell deutlichst gewonnen… Gratulation, lieber Olaf, Du bist ab sofort mein unbestrittener Radrenn-Hero!

Nun ja, das alte Sprichwort “Ohne Fleiß kein Preis” hat sich hier mal wieder bewahrheitet. Dementsprechend bin ich auch sofort ins Training eingestiegen und habe mich schon mal für das nächste Rennen am 23. Mai in München gemeldet! Hier warten die Bulls Cycling Days in München und ich bin überzeugt, dass die 70km quer durch München und das südliche Umland deutlich besser laufen werden, als mein Auftritt in Köln.

(deutsche Version weiter unten)

In early April, ODC Services GmbH was awarded certification by Austrian Standards Plus GmbH. The online fieldwork provider from Munich thus confirmed its leading position as a quality service provider.

“Certification in accordance with ISO 26362 was a logical step for us and is really just a matter of course. As a provider of high-quality online fieldwork, we intend to use the certification to continue to meet our customer’s high quality requirements and live up to the trust they place in us,“ said Christoph Irmer, CEO of ODC Services. “Of course we are also aware of the responsibility that comes with this endorsement: complying with quality requirements and constantly refining and improving work processes and standards go hand in hand with this certification.“

Dr. Holger Muehlbauer, audit manager on behalf of the Austrian Standard Plus GmbH, also expressed his approval: “For us it is very gratifying to see that ISO 26362 certification appeals to companies and customers alike. And we are particularly pleased that such a well-known and reputable field service provider such as ODC Services has now received the certificate. This is a welcome result of the International Standards Organization we helped develop and we believe that the certification will lead to more quality and transparency in cooperation with access panels.“

The basis for certification was developed by the German Society for Online Research (DGOF), the Association of German Market and Social Research Institute (ADM) and Austrian Standards Plus GmbH. It sets high quality standards for everything from the recruitment of panel members to the fieldwork itself and to reporting. The certificate is intended to provide customers of online panel operators with more certainty in selecting qualified suppliers.

Deutsche Version:
Anfang April erhielt die ODC Services GmbH die Zertifizierungsurkunde der Austrian Standards Plus GmbH. Der Münchner Online-Felddienstleister verdeutlicht damit seine führende Stellung als Qualitätsanbieter.

“Die Zertifizierung nach ISO 26362 war für uns ein logischer Schritt und im Grunde selbstverständlich. Als Qualitätsanbieter im Bereich der Online-Feldarbeit wollen wir durch die Zertifizierung den Qualitätsansprüchen unserer Kunden weiter Rechnung tragen und das uns entgegengebrachte Vertrauen bestätigen”, so Christoph Irmer, CEO bei ODC Services. “Selbstverständlich sind wir uns aber auch der Verantwortung bewusst, die eine solche Zertifizierung mit sich bringt: Die Einhaltung der Qualitätsauflagen so wie beständiges Weiterentwickeln und Verbessern der Arbeitsabläufe und Standards sind für uns im Rahmen dieser Zertifizierung ein Muss.”

Positiv äußert sich auch Dr. Holger Mühlbauer, Audit-Leiter im Auftrag der Austrian Standard Plus GmbH: “Es ist für uns sehr erfreulich zu sehen, dass die Zertifizierung nach ISO-Norm 26362 entsprechenden Anklang findet und umso mehr freut es uns, dass mit der ODC Services GmbH nun ein anerkannter und renommierter Felddienstleister das Zertifikat bekommen hat. Dies ist ein begrüßenswertes Resultat der von uns aktiv begleiteten internationalen Dienstleistungsnormung und wir sind überzeugt, dass die Zertifizierung zu mehr Qualität und Transparenz in der Zusammenarbeit mit Access Panels führen wird.”

Die Zertifizierungsgrundlage wurde von der Deutschen Gesellschaft für Online-Forschung (DGOF) und dem Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) gemeinsam mit der Austrian Standards Plus GmbH entwickelt. Sie stellt hohe Ansprüche an die Qualität, von der Rekrutierung der Panelmitglieder über die Feldarbeit bis hin zum Reporting. Das Zertifikat soll Kunden von Online-Panelbetreibern mehr Sicherheit bei der Auswahl qualifizierter Anbieter geben.

March, 5th: Panel Research revisited – AIMRI Meeting, Rome: Our international Sales Manager and native Italian, Silvia Fracchia, flys to Rome to attend this years AIMRI Meeting on Panel Research.

March, 8th-9th: Mobile Research Conference, London: Our dear colleague and Director of Panel Management Christoph Bender joins this years Mobile Research Conference in London to learn and share insights and latest developments in Mobile Research!

May, 26th-28th: GOR Conference 2010, Pforzheim: Steffi Preiß, Florian Tress and Christoph Irmer will have a nice car-ride to Pforzheim in May to attend this years GOR conference. Next to a lot of interest in exchaning views and thoughts on Online Research, they will bring 2 speeches:

Are well-selected panelists better respondents? Insights into the effect of a master screener on panel performance and data quality – Thursday, May 27th, 12pm

Is the Crowd wise enough to predict the Election Results for the German “Bundestag”? – Friday, May 28th, 2.15pm – together with Thomas Donath, Managing Director of Nordlight Research.

June, 16th-17th: BVM Kongress, Bonn: We’ve still not decided who will attend this year’s BVM-Congress in Bonn but one thing’s for sure: We will definitely be there! Stay tuned for further news

Ein freundliches Hallo zum dritten und letzten Teil meines Blogs, mit dem ich meine ganz persönliche Einschätzung zur aktuellen Lage von Online Access Panels zum Besten gebe.

Hier findet der geneigte Leser übrigens zu den ersten beiden Artikeln: Teil 1; Teil 2

Zum Ende des Vorgänger-Blogs hatte ich ja versprochen, das meines Erachtens grundlegende Problem von Online Access Panels angehen zu wollen:

“… [] Ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs eingehen. “

Und bitte schön, hier kommt unser Vorschlag:

Wie würde es denn aussehen, wenn wir das Panelmanagement sowie die Durchführung von Online-Umfragen in Online-Panels nicht mehr projektbezogen, sondern panelbezogen angehen? Was meine ich damit?

Bisher gehen Online-Panels i.d.R. so vor, daß sie projektbezogen Gruppen aus dem Online-Panel vorselektieren und einladen. Wie in Teil 1 dieses Beitrags bereits erwähnt, führt dies zu extrem hohen Screenoutraten und in der Konsequenz logischerweise zu viel Frustration beim Probanden.

Hier müssen wir ansetzen und aus Qualitäts- und Quantitätsgründen die Beendigungswahrscheinlichkeit in Online-Umfragen deutlich erhöhen! Klar: Kunden haben meist sehr genau Vorstellungen, wie Ihre Zielgruppe auszusehen hat und häufig sind diese sehr eng gefasst. Dies natürlich auch häufig zurecht und so wird es sich dauerhaft nicht vermeiden lassen, sprichtwörtlich nach der Nadel im Heuhaufen zu suchen. Die Frage, die ich mir hierbei aber stelle: “Muß das auf Projektebene stattfinden?”

Wie wär’s denn damit:

Die Zielgruppensuche findet – statt projektbezogen – ständig und fortlaufend in einer dynamischen Masterumfrage statt. Diese wird (für jedes Panelland) durchgeführt und ständig durch das Hinzufügen und Herausnehmen von Screeningfragen an die jeweils laufenden Projekte angepasst. Teilnehmer des Online-Panels werden nun fortlaufend befragt und die Probanden anhand Ihrer Ergebnisse in entsprechende Gruppen gespielt, je nachdem für welche(s) Projekt(e) sie sich qualifiziert haben.

Somit habe ich – zumindest theoretisch – die Zielgruppen für einzelne Projekte vorgescreent und kann nun tatsächlich Probanden auf Umfragen einladen, die sie mit sehr, sehr hoher Wahrscheinlichkeit beenden können.

Der Ablauf im Detail ist wie hier aufgezeigt:

Die Vorteile (bzw. korrekterweise angenommenen Vorteile):

• schon durch seine Teilnahme an der Mastersurvey nimmt der Proband an einer (incentivierten) Umfrage teil ohne ausgescreent zu werden
  
• die Einladung für weitere Projekte erfolgt anhand der Antworten aus der Mastersurvey – somit wird im Grunde nur noch eingeladen, wer in die entsprechende Zielgruppe passt
  
• das Frustrationslevel der Teilnehmer nimmt ab, da das frustrierende “Sie gehören diesmal leider nicht zur Zielgruppe” weitestgehend entfällt
  
• den Panelisten wird dauerhaft der Grund genommen, sich durch antrainiertes, geändertes Antwortverhalten für Umfragen zu qualifizieren – wenn er eine Einladung zu einer Umfrage erhält, darf er im Normalfall auch tatsächlich an dieser Umfrage teilnehmen!
  
• auf lange Sicht sollte dies zu verbesserter Datenqualität führen
  
• die Panelmortalität wird gesenkt

Natürlich gibt es aber auch hier einige Knackpunkte, die noch weitergehend überprüft und ggf. “nachbearbeitet” werden müssen:

• Wie funktioniert eine Aneinanderreihung von Screeningfragen aus unterschiedlichen Studien in einer solchen Master-Survey?
  
• Wie reagieren Kunden auf dieses Vorgehen?
  
• Nach welchen Kriterien priorisiere ich die parallel laufenden Projekte, wenn Panelisten in mehrere Zielgruppen passen, sich also für mehrere Projekte qualifizieren?
  
• Wie gehe ich mit der Master-Survey bei zeitkritischen Projekten um?
  
• Wie häufig müssen Panelisten künftig auf die Mastersurvey eingeladen werden?

Wir führen derzeit in unserem deutschen Panel seit Anfang Dezember einen Test durch und machen hier bisher sehr positive Erfahrungen:

• Die erzielten Inzidenzraten in der Mastersurvey haben sich bisher sehr gut mit den angegebenen Erfahrungswerten unserer Kunden gedeckt, so daß davon auszugehen ist, daß es hier keine Verzerrungen durch Falschantworten gibt
  
• Bis auf ein paar wenige Ausnahmen (abweichend von Studie zu Studie) sind die Probanden auch in Ihren Antworten bei Mastersurvey und in den tatsächlichen Kundenumfragen konsistent.
  
• Die Beendigungswahrscheinlichkeit konnte bei den involvierten Studien signifikant erhöht werden, woraus wir uns mittel- bis langfristig eine deutlich verbesserte Teilnahmebereitschaft erhoffen.

Die Ergebnisse dieser Studie werden wir übrigens Anfang des Jahres gerne publizieren (Art, Ort und Medium werden noch bekanntgegeben ).Nun gilt es, die ersten Erfahrungen auszubauen, dieses Vorgehen im Panel zu etablieren und unsere Kunden hiervon zu überzeugen.

Ich bin überzeugt davon, daß wir die Teilnahmebereitschaft an Online-Umfragen und damit die Erhebung valider und ehrlicher Daten nur dann dauerhaft sicherstellen können, wenn wir das “Erlebnis Online-Umfragen” für den Probanden wieder deutlich weniger frustrierend und nutzerfreundlicher gestalten! Dieses Vorscreener über eine Masterumfrage ist m.E. ein vielversprechender Weg und ich halte Interessenten natürlich gerne über die Entwicklung auf dem Laufenden.

In diesem Sinne freue ich mich auf eine angeregte Diskussion (per Twitter, über die Kommentarfunktion, per Email, persönlich, … )

So, komme endlich dazu, mich an die versprochene Weiterführung des Blogs vom 24.11. zu machen…

Im ersten Teil hatte ich mich mit den Gründen für sinkende Teilnahmebereitschaft in Online-Panels und eine stetig steigende Panel-Mortalität auseinandergesetzt. Untern anderem wurde hierbei der Punkt Surveytainment bzw. die Art und Weise der in Online Panels durchgeführten Umfragen angerissen. Ich möchte nun noch etwas ausführlicher auf diesen Punkt eingehen, da die Qualität der in Online Panels durchgeführten Umfragen mit Sicherheit einen sehr großen Einfluß auf die Panel Mortalität hat – immerhin ist es Hauptziel und -zweck eines Panels, Online-Umfragen unter den Panelisten durchzuführen.

Im Anschluß möchte ich dann gerne noch einige Lösungsansätze für die angesprochen Problematik rückläufiger Teilnahmeraten vorstellen und eine Vorstellung davon geben, wie ich mir Online Panels in Zukunft vorstelle. Mal sehen, ob ich das alles in diese Folge II gepackt bekomme. Andernfalls muß halt eine Folge III herhalten…

Surveytainment… also: wie kann ich Umfragen für den Probanden/Teilnehmer möglichst spannend und entertaining gestalten um die Teilnahmebereitschaft an Umfragen langfristig zu erhalten? Im Grunde ganz einfach:

Zuerst einmal sollte ich als Forscher mit der gleichen Sorgfalt und Wertschätzung meine Fragen stellen, die ich vom Befragten auch bei der Beantwortung meiner Fragen erwarte. Ist doch selbstverständlich, mag da der geneigte Leser aufschreien. Klar…

sorgfältige Übersetzungen:

sinnvolle Ausfüllanweisungen (weil Tastaturen manchmal so schmieren…):

überlegte Fragestellungen (was macht da jetzt jemand mit mittlerer Reife?):

Es wäre ein einfaches, weitere hunderte Beispiele dieser Art aufzuführen, würde aber den Rahmen sprengen. Was ich damit klar machen will ist, daß noch sehr sehr häufig haarsträubende handwerkliche Fehler in der Fragebogengestlatung und -umsetzung gemacht werden und dies nicht immer vom Panel-Betreiber selbst, sondern auch häufig vom beauftragenden Institut.

Ich habe aber erst neulich zwei interessante Blogeinträge von Olympiamilano zum Thema Matrixfragen in Online-Umfragen gelesen:

- Surveytainment at its best #2
- Matrixfragen – Online eigentlich Unsinn!

Im Grunde klingt mir das sehr einleuchtend und jeder der einmal eine mit elend langen Matrixfragen gespickte Online-Umfrage mitgemacht hat, wird bestätigen, daß das Unsinn ist und dieser Fragetyp für ein Selbtausfüllerinterview gänzlich ungeeignet ist. Trotzdem scheint die Skalenabfrage über diverse Items des Marktforschers liebstes Kind zu sein… Mir drängt sich da häufig das Gefühl auf, der Befragte wird gar nicht mehr als Konsument/Kunde/Mensch gesehen, sondern als Datenproduzent, der möglichst ausgiebig “gemolken” werden soll. Ob ich den Menschen dabei noch zu authentischen, spontanten, ehrlichen Antworten bekomme ist eher zweitrangig, wichtig scheint zu sein, möglichst viel Datenmaterial anzuhäufen…

Eine Frage, die immer hilfreich ist um festzustellen, wie Befragungstauglich oder eben nicht, ein Fragebogen ist:

“Würde ich diesen Fragebogen selbst mit entsprechender Sorgfalt und Konzentration bis zum Schluß beantworten?”

Wenn Ihre Antwort darauf “NEIN” ist: Ändern Sie den Fragebogen ab. Kürzen Sie Fragen heraus oder variieren Sie unterschiedliche Fragetypen, modellieren Sie um. Vielleicht muß sogar das gesamte Studiendesign geändert werden? Die Maxime “Klasse statt Masse” sollte hier auf alle Fälle gelten. Lieber habe ich weniger Datenmaterial, dieses aber durch ehrliche und sinnvolle Beantwortung der Fragen erzielt, als einen Haufen Material von Durchklickern und genervten Probanden.

Und damit haben wir auch schon einen ersten – zugegebenermaßen recht banalen – Lösungsvorschlag für verbesserte Teilnahmebereitschaft und Verweildauer in Online-Panels geliefert: Bessere Umfragen – angepasst an die Gegebenheiten des Internets, an die Besonderheiten bei Selbstausfüllerinterviews und an die Strapazierfähigkeit der Probanden.

Natürlich sollen aber auch ein paar “more sophisticated” Ideen vorgestellt werden, wie man schwindender Teilnahmebereitschaft in Online-Panels entgegentreten kann.

Zum ersten – bereits in Einsatz und von uns erfolgreich angewendet: Unser Panelist Motivation Score – Ein Tool welches anhand der Umfragenhistorie die individuelle Motivation der Probanden „misst“ und somit ein verbessertes Einladen zu Studien ermöglicht.

Und wie funktioniert’s?
Wir unterstellem jeden Panelisten eine Grundmotivation an Umfragen teilzunehmen, ansonsten hätte er/sie sich aller Wahrscheinlichkeit nach nicht im Panel angemeldet. Diese Motivation ändert sich nun bei jeder Einladung zu einer Umfrage, je nachdem wie diese ausgeht:

1. Darf der Panelist vollständig beantworten, steigt der Motivation Score
2. Wird er ausgescreent, bricht er ab oder läuft er in eine volle Quote, sinkt die Motivation, da das Ziel, an Umfragen teilzunehmen, ja nicht erreicht wurde.

Weil das zu einfach wäre, wird der Algorithmus noch durch ein paar weitere Variablen wie z.B. Einladungshäufigkeit, Verweildauer im Panel, Bonuspunktestand, etc. angereichert und schon haben wir einen individuellen Motivationsscore für jeden Panelisten. Dieser Score wird nun wie folgt bei der Ziehung von Stichproben eingesetzt:

Bei einem niedrigen Motivationsscore laden wir bevorzugt zu Umfragen mit hoher Beendigungswahrscheinlichkeit ein. Bei Umfragen mit niedriger Beendigungswahrscheinlichkeit würden wir entsprechend bevorzugt Teilnehmer mit einer hohen Motivation einladen. Hier sei ergänzend darauf hingewiesen, daß wir leider nicht immer auf Studien mit hoher Beendigungswahrscheinlichkeit (also hohe Inzidenz) zurückgreifen können. Daher „kreiern“ wir s.g. Motivationsstudien, bei welchen jeder teilnehmen darf.

Was bringt’s? Viel! In einer Testphase von 3 Monaten konnten wir bei der Gruppe mit Motivationsscore eine um 6% höhere Teilnahmebereitschaft feststellen, als in der Testgruppe ohne Motivationsscore. Auch seit der festen Einführung des PMS in unserem Panel haben sich die Teilnahmeraten stabilisiert und z.T. sogar erhöht, wobei das Messen hier etwas schwieriger ist, da im tgl. Panel-Management natürlich noch weitere Effekte (unterschiedliche Incentives, Neurekrutierungen, inaktive, …) eine Rolle spielen.

Für uns lässt sich festhalten: ein wertschätzender und respektvoller Umgang mit unseren Panelteilnehmern gepaart mit dem Einsatz des Panelist Motivation Score hilft eindeutig, die Teilnahmebereitschaft der Probanden zu verbessern.

Trotzdem – ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs (hoffentlich recht bald in den nächsten Tagen!) eingehen.

Überall stolpert man in der Branche derzeit über die Themen Panelmortalität und Teilnahmebereitschaft. Wie kann man Teilnahmebereitschaft erhalten und Panelmortalität senken? Gerade uns Panelanbieter beschäftigt dieses Thema derzeit brennend, da hier natürlich der Kern unserer Daseinsberechtigung betroffen ist.

Erst vor kurzem habe ich zu diesem Thema einen Vortrag auf dem 10jährigen Firmenjubiläum der Globalpark AG gehalten und möchte hier eine kurze Zusammenfassung über unsere Sicht der Dinge geben bzw. auch konkrete Verbesserungsvorschläge machen.

Da ich feststellen mußte, daß die Ausarbeitung zu diesem Thema für einen Artikel etwas zu lang ist (und auch entsprechend Zeit in Anspruch nimmt), habe ich mich entschieden, mehrere Folgen dieses Blogs zu veröffentlichen. Hier nun also Folge I:

Fakt ist sicherlich, daß über alle Panels hinweg eine sinkende Teilnahmebereitschaft zu verzeichnen ist. Erst letzte Woche rief eine überaus nette Vetriebsdame eines weiteren Panelbetreibers bei uns an und erzählte uns im Rahmen einer Angebotsanfrage erfreut von “derzeit außerordentlich tollen Response Rates in Spanien um die 10 Prozent” … Hä? Heißt das, es ist inzwischen erfreulich, wenn auf 100 Email-Einladungen gerade noch 10 Panelisten reagieren? Bei einem anderen Panelanbieter haben wir – eigenen Berechnungen nach – eine durchschnittliche Response Rate im dt. Panel von 15% gemessen und natürlich verzeichnen auch wir im eigenen Online-Panel opinion-people eine über Zeit rückläufige Antwortbereitschaft.

Woran aber liegt das nun? Ich denke, daß wir es mit drei großen Problemen zu tun haben.

1. Umfragen sind i.d.R. nicht so sexy, wie es dem Teilnehmer bei Rekrutierung ins Panel bzw. bei Einladung zur entsprechenden Umfrage gerne weißgemacht wird.

3. Die Art und Weise wie Interviews für einzelne Umfragen über Panels generiert werden, muß über Zeit zwangsläufig zu fallenden Response-Rates führen.

Getreu dem Motto “What you see isn’t always what you get” wird potentiellen Teilnehmern gerne der Umfrage-Himmel auf Erden versprochen: “Verdienen Sie je Umfrage bis zu 15,00 Euro”, “Spannende Umfragen”, “Beeinflußen Sie die Welt von Morgen”, “Ihre Meinung ist bares Geld wert”, …

Mal im Ernst: Meinen Sie, die Beantwortung einer 45minütigen Conjoint-Umfrage ist spannend? Oder die Beantwortung von Matrixfragen mit 10erSkala und 25 Statements zum Thema Finanzprodukte? Meinen Sie es macht Spaß, bei durchschnittlich 8,4 aus 10 Einladungen ausgescreent zu werden oder aber mitgeteilt zu bekommen, daß man zu spät dran ist? Oder für einen 30-Minüter mal eben mit 1,00 € abgespeist zu werden, wo bei Registrierung im Panel von bis zu 15,- € die Rede war? Eben.

Diese Zahl von 16% Beendigungsquote ist übrigens herausgekommen bei einem Selbsttest bei 5 großen Online-Panels über einen Zeitraum von ca. 6 Monaten. Gemeinsam mit zwei Mitarbeitern haben wir alle Einladungen, Teilnahmen usw. im Zeitraum von 7. Januar bis 16. Juni gezählt und dabei kam folgendes Ergebnis zustande:

- Ich darf nur in 16% aller Fälle überhaupt vollständig teilnehmen
- Dann muß ich im Schnitt 20 Minuten Zeit aufwenden
- Und erhalte dafür durchschnittlich 0,89 €

Nochmal zur Erinnerung:
- Spannende Umfragen
- Geld Verdienen
- Produkte mitentwickeln
- … sehen in meinen Augen anders aus.

Ich glaube die Realität ist nicht das, was sich Panelteilnehmer unter diesen Punkten vorgestellt haben…

Weiterhin muß die Art und Weise, wie quasi alle Panels derzeit betrieben werden meines Erachtens zwangsläufig zu rückläufiger Teilnahmebereitschaft führen.

In etwa ist der klassische Ablauf bei Online-Panels wie folgt:

1. Schritt: Ich suche teilnahmewillige Personen: „Bitte, bitte werde Teil meines Panels!“

3. Schritt: in 8 aus 10 Fällen: „Ällabätsch – jetzt darfst Du doch nicht teilnehmen!“

Das muß sich ein bißchen so anfühlen, wie wenn man wochenlang von einem Flirtpartner angebaggert wird (mit Dinner for two, Kerzenschein, Geschenken und allem was dazu gehört) um dann einen waschechten Korb zu bekommen…

Um das Ganze nochmals etwas theoretischer darzustellen:

Wir sprechen möglichst viele Menschen auf unterschiedlichste Art und Weise an und schaffen es tatsächliche einige wenige davon zu überzeugen, sich in unserem Panel zu registrieren. Dann verkaufen wir einzelne Projekte und ziehen projektbezogen Stichproben aus dem Panel, von welchen dann letztlich im Schnitt ca. 16% das Projekt beenden dürfen. Psychologisch für die restlichen 84% nicht gerade toll und auch bei den 16% die beantworten durften (oder mussten) kommt’s drauf an wie gut, spannend und kurzweilig der Fragebogen war, mit welchem Gefühl sie aus der Befragung kommen.

Ich glaube, daß dieses Vorgehen eher suboptimal ist und gute Gründe liefert, früher oder später auf Umfrageeinladungen nicht mehr zu reagieren, oder aber – und das wäre für die Ergebnisse noch fataler – das Antwortverhalten zu ändern um sich für Umfragen zu qualifizieren oder um sich möglichst schnell durch langweilige Umfragen zu klicken.

Zum Thema Surveytainment bzw. “wie spannend und entertaining sollte und wie langweilig darf ein Fragebogen sein” und zu Vorschlägen, wie man der sinkenden Teilnahmebereitschaft entgegenwirken kann, dann in der nächsten Folge mehr!