It can happen all the time and of course it did happen before, that we had to refuse to start an online study because of a very, very bad study design. Nevertheless, this time I thought I’d write some short notes on it, simply because I think that this issue is very important and somehow underestimated.

And of course I’m posting this blog-entry because I hope to get a discussion started and hear back your thoughts on this issue!

In a nutshell this is what happened: We won a project from a client, which sounded fair and easy in the very beginning. During our project managers test of the survey we found the whole study design to be more or less one big grid question and including a plausibility-check at the very end of one page. This check would exclude all panelists who would not answer a certain grid-item with a certain scale-item (where the right answer had nothing to do with a candid answer on that certain item).

Don’t get me wrong, I completely agree with plausibility-checks but I do also believe that researchers need to make sure, that surveys are engaging or – if this is not possible for any reason – at least not disencouraging. But the combination of a very long and boring survey and a plausibility-check if respondents would not keep up their concentration over a bunch of grid questions with up to 30 items, isn’t something which I think is helpful for better data quality.

I agree that online panel providers are responsible for panel quality and maintenance but my point is that good data quality can only be delivered if – next to a quality panel – the study design delivers good quality as well. If there is a lack on questionnaire-quality, we cannot be responsible for high drop-out rates or cheaters. BTW: I think we cannot even name those cheaters who are “straightlining” due to fact that the same-looking odd grid question is asked (of course slightly modificated) 3-5 pages in a row where people would have to scroll down on every page to see the last items. Would you remain to answer seriously and with the same concentration after the 20th item?

Back to the story: We finally decided not to start this project and – as it looks right now – lost an interesting client. It wasn’t just the fact that the study design was that bad, but also that participants would have been excluded if they – in my opinion understandably – would have lost concentration at some point of the survey and therefore would have been the ones to be blamed for a disencouraging and bad survey design. Putting high quality expectations on a fieldwork provider but in return not delivering quality in the study design didn’t seem to be a fair deal for us. Especially not, as we would have been the ones to pay for it due to high dropout- and “cheater”-rates.

Now I would be interested in your thoughts: Would you field such a survey? Would you – as a client – expect your panel-provider to start a project like that? Would you accept even major changes on your survey design? How do you cope with issues like that?

Together with our dear colleague Thomas Donath from Nordlight Research I had the opportunity to present a study we conducted to find out, if a wisdom of crowds-approach to election prognosis could potentially compete with or even outperform traditional methods for election research.

With this short blog-entry I`d like to give you a short summary on the speech. Hope you enjoy it and of course your comments are welcome!

“The Wisdom of Crowds”, a book written by James Surowiecki in 2004 about the aggregation of information in groups, claims the many to be smarter than the few. According to Surowiecki, four key criteria have to be met to enable a large group (crowd) to make accurate predictions and the right decisions in terms of reaching common goals.

1) Diversity of opinion: a wide range of points of view in the group
2) Independence of opinion: individuals making guesses do not influence each other
3) Decentralization: local and specialised knowledge
4) Aggregation: a mechanism to reach a collective guess or decision

The goal of this study was to obtain a first indication on whether a “wisdom of crowds” approach to election prognosis could potentially compete with or even outperform traditional means of prognosis.

Methods & Data
We asked 2,323 Germans, registered in an online-access-panel, to predict the official outcome of the German “Bundestagswahl 2009” one week in advance. There were three major differences to surveys executed by institutes like “Forschungsgruppe Wahlen” or “Infratest dimap”. Firstly, the sample was not representative. Secondly, no weighting of raw data was employed. Thirdly and most importantly, participants were asked to give their own prognosis for all major parties rather than state which party they would vote for the following Sunday.

Results
The main outcome of the study is that – in this single trial – the wisdom of crowds approach yielded a slightly less precise prognosis compared to results of traditional surveys just before the election (sum of absolute difference in percentage points: 10.3 for Wisdom of Crowds vs. 8.4 for e.g. Forschungsgruppe Wahlen and Infratest dimap).
However the precision of the wisdom of crowds approach is still high enough to justify further interest.
Also, a large number of moderator variables such as interest in politics, gender, age, or the knowledge of other prognoses correlate with individual forecast performance.

Based on these results, we shed additional light on the idea of the wisdom of crowds – a method which may be an interesting methodological addition to various research purposes which require prognosis. You might find our charts here:

For more information on this case-study and on our findings, please don’t hesitate to contact either Thomas (thomas.donath [at] nordlight-research.com) or me (ci [at] odc-services.com), or simply use the comment-function!

(deutsche Version weiter unten)

In early April, ODC Services GmbH was awarded certification by Austrian Standards Plus GmbH. The online fieldwork provider from Munich thus confirmed its leading position as a quality service provider.

“Certification in accordance with ISO 26362 was a logical step for us and is really just a matter of course. As a provider of high-quality online fieldwork, we intend to use the certification to continue to meet our customer’s high quality requirements and live up to the trust they place in us,“ said Christoph Irmer, CEO of ODC Services. “Of course we are also aware of the responsibility that comes with this endorsement: complying with quality requirements and constantly refining and improving work processes and standards go hand in hand with this certification.“

Dr. Holger Muehlbauer, audit manager on behalf of the Austrian Standard Plus GmbH, also expressed his approval: “For us it is very gratifying to see that ISO 26362 certification appeals to companies and customers alike. And we are particularly pleased that such a well-known and reputable field service provider such as ODC Services has now received the certificate. This is a welcome result of the International Standards Organization we helped develop and we believe that the certification will lead to more quality and transparency in cooperation with access panels.“

The basis for certification was developed by the German Society for Online Research (DGOF), the Association of German Market and Social Research Institute (ADM) and Austrian Standards Plus GmbH. It sets high quality standards for everything from the recruitment of panel members to the fieldwork itself and to reporting. The certificate is intended to provide customers of online panel operators with more certainty in selecting qualified suppliers.

Deutsche Version:
Anfang April erhielt die ODC Services GmbH die Zertifizierungsurkunde der Austrian Standards Plus GmbH. Der Münchner Online-Felddienstleister verdeutlicht damit seine führende Stellung als Qualitätsanbieter.

“Die Zertifizierung nach ISO 26362 war für uns ein logischer Schritt und im Grunde selbstverständlich. Als Qualitätsanbieter im Bereich der Online-Feldarbeit wollen wir durch die Zertifizierung den Qualitätsansprüchen unserer Kunden weiter Rechnung tragen und das uns entgegengebrachte Vertrauen bestätigen”, so Christoph Irmer, CEO bei ODC Services. “Selbstverständlich sind wir uns aber auch der Verantwortung bewusst, die eine solche Zertifizierung mit sich bringt: Die Einhaltung der Qualitätsauflagen so wie beständiges Weiterentwickeln und Verbessern der Arbeitsabläufe und Standards sind für uns im Rahmen dieser Zertifizierung ein Muss.”

Positiv äußert sich auch Dr. Holger Mühlbauer, Audit-Leiter im Auftrag der Austrian Standard Plus GmbH: “Es ist für uns sehr erfreulich zu sehen, dass die Zertifizierung nach ISO-Norm 26362 entsprechenden Anklang findet und umso mehr freut es uns, dass mit der ODC Services GmbH nun ein anerkannter und renommierter Felddienstleister das Zertifikat bekommen hat. Dies ist ein begrüßenswertes Resultat der von uns aktiv begleiteten internationalen Dienstleistungsnormung und wir sind überzeugt, dass die Zertifizierung zu mehr Qualität und Transparenz in der Zusammenarbeit mit Access Panels führen wird.”

Die Zertifizierungsgrundlage wurde von der Deutschen Gesellschaft für Online-Forschung (DGOF) und dem Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) gemeinsam mit der Austrian Standards Plus GmbH entwickelt. Sie stellt hohe Ansprüche an die Qualität, von der Rekrutierung der Panelmitglieder über die Feldarbeit bis hin zum Reporting. Das Zertifikat soll Kunden von Online-Panelbetreibern mehr Sicherheit bei der Auswahl qualifizierter Anbieter geben.

Die ersten Tage eines neuen Jahres gelten meist dem Abschluss des Vorgängerjahrs. Die letzten Daten werden behutsam in die bestehenden Statistiken eingepflegt und man findet nebenbei ein wenig Zeit, sich mit den Zahlen auseinanderzusetzen. Auch ich habe hier ein wenig gestöbert und dabei ist mir im Feedback, das uns die Panelisten zu den Umfragen geben, ein interessanter Effekt aufgefallen.

Die Beurteilung der Länge einer Befragung durch die Befragten korreliert mit der tatsächlichen Länge: je kürzer die Umfrage ist, desto besser das Urteil. Soweit, so unspektakulär. Kontrolliert man diese Korrelation jedoch statistisch auf die Zufriedenheit mit allen anderen Aspekten der Umfrage, so nimmt die Stärke des Zusammenhangs deutlich ab (bleibt aber schwach erhalten). Mit anderen Worten: wenn Inhalt und Bedienbarkeit einer Umfrage positiv erlebt werden, führt eine längere Befragungszeit weniger stark zur Unzufriedenheit.

Dieses Ergebnis passt gut in die aktuelle Diskussion ums Surveytainment – geht es hier nicht stark vereinfacht um die Frage, wie man die Teilnehmer an Umfragen möglichst lange bei Laune halten kann? Wohlgemerkt bezieht sich das vorliegende Ergebnis aber nicht auf Befragungen, die nahe am multimedialen Overkill liegen und vorwiegend aus Flash-Spielchen à la „Karten ins Körbchen“ bestehen, sondern um den breiten Durchschnitt der Befragungen – und dieses Spektrum reicht von recht kurzweiligen Studien bis hin zu langwierigen, redundanten Befragungen. Um den Befragten längere Umfragen zumuten zu können, müssen also nicht unbedingt Mickeymäuse am Bildschirmrand Polonaise tanzen (so ein Verständnis von Surveytainment würde mir nebenbei bemerkt ohnehin eher Angst einflößen), sondern ein verständliches Fragenkonzept und eine einfache Bedienbarkeit der Umfrage haben bereits gute Effekte.

Bleibt die Frage, was man mit dieser Erkenntnis für das noch junge Jahr anfängt? Nun, man kann sich zumindest die implizite Anmahnung der Sorgfaltspflicht bei der Feldarbeit zu Herzen nehmen. Und da man Inhalt und Länge einer Befragung nur selten einer größeren Unterhaltsamkeit preisgeben möchte, muss das Augenmerk umso stärker auf  der einwandfreien Bedienbarkeit liegen. In diesem Sinne: ein gutes und unterhaltsames Jahr 2010!

Ein freundliches Hallo zum dritten und letzten Teil meines Blogs, mit dem ich meine ganz persönliche Einschätzung zur aktuellen Lage von Online Access Panels zum Besten gebe.

Hier findet der geneigte Leser übrigens zu den ersten beiden Artikeln: Teil 1; Teil 2

Zum Ende des Vorgänger-Blogs hatte ich ja versprochen, das meines Erachtens grundlegende Problem von Online Access Panels angehen zu wollen:

“… [] Ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs eingehen. “

Und bitte schön, hier kommt unser Vorschlag:

Wie würde es denn aussehen, wenn wir das Panelmanagement sowie die Durchführung von Online-Umfragen in Online-Panels nicht mehr projektbezogen, sondern panelbezogen angehen? Was meine ich damit?

Bisher gehen Online-Panels i.d.R. so vor, daß sie projektbezogen Gruppen aus dem Online-Panel vorselektieren und einladen. Wie in Teil 1 dieses Beitrags bereits erwähnt, führt dies zu extrem hohen Screenoutraten und in der Konsequenz logischerweise zu viel Frustration beim Probanden.

Hier müssen wir ansetzen und aus Qualitäts- und Quantitätsgründen die Beendigungswahrscheinlichkeit in Online-Umfragen deutlich erhöhen! Klar: Kunden haben meist sehr genau Vorstellungen, wie Ihre Zielgruppe auszusehen hat und häufig sind diese sehr eng gefasst. Dies natürlich auch häufig zurecht und so wird es sich dauerhaft nicht vermeiden lassen, sprichtwörtlich nach der Nadel im Heuhaufen zu suchen. Die Frage, die ich mir hierbei aber stelle: “Muß das auf Projektebene stattfinden?”

Wie wär’s denn damit:

Die Zielgruppensuche findet – statt projektbezogen – ständig und fortlaufend in einer dynamischen Masterumfrage statt. Diese wird (für jedes Panelland) durchgeführt und ständig durch das Hinzufügen und Herausnehmen von Screeningfragen an die jeweils laufenden Projekte angepasst. Teilnehmer des Online-Panels werden nun fortlaufend befragt und die Probanden anhand Ihrer Ergebnisse in entsprechende Gruppen gespielt, je nachdem für welche(s) Projekt(e) sie sich qualifiziert haben.

Somit habe ich – zumindest theoretisch – die Zielgruppen für einzelne Projekte vorgescreent und kann nun tatsächlich Probanden auf Umfragen einladen, die sie mit sehr, sehr hoher Wahrscheinlichkeit beenden können.

Der Ablauf im Detail ist wie hier aufgezeigt:

Die Vorteile (bzw. korrekterweise angenommenen Vorteile):

• schon durch seine Teilnahme an der Mastersurvey nimmt der Proband an einer (incentivierten) Umfrage teil ohne ausgescreent zu werden
  
• die Einladung für weitere Projekte erfolgt anhand der Antworten aus der Mastersurvey – somit wird im Grunde nur noch eingeladen, wer in die entsprechende Zielgruppe passt
  
• das Frustrationslevel der Teilnehmer nimmt ab, da das frustrierende “Sie gehören diesmal leider nicht zur Zielgruppe” weitestgehend entfällt
  
• den Panelisten wird dauerhaft der Grund genommen, sich durch antrainiertes, geändertes Antwortverhalten für Umfragen zu qualifizieren – wenn er eine Einladung zu einer Umfrage erhält, darf er im Normalfall auch tatsächlich an dieser Umfrage teilnehmen!
  
• auf lange Sicht sollte dies zu verbesserter Datenqualität führen
  
• die Panelmortalität wird gesenkt

Natürlich gibt es aber auch hier einige Knackpunkte, die noch weitergehend überprüft und ggf. “nachbearbeitet” werden müssen:

• Wie funktioniert eine Aneinanderreihung von Screeningfragen aus unterschiedlichen Studien in einer solchen Master-Survey?
  
• Wie reagieren Kunden auf dieses Vorgehen?
  
• Nach welchen Kriterien priorisiere ich die parallel laufenden Projekte, wenn Panelisten in mehrere Zielgruppen passen, sich also für mehrere Projekte qualifizieren?
  
• Wie gehe ich mit der Master-Survey bei zeitkritischen Projekten um?
  
• Wie häufig müssen Panelisten künftig auf die Mastersurvey eingeladen werden?

Wir führen derzeit in unserem deutschen Panel seit Anfang Dezember einen Test durch und machen hier bisher sehr positive Erfahrungen:

• Die erzielten Inzidenzraten in der Mastersurvey haben sich bisher sehr gut mit den angegebenen Erfahrungswerten unserer Kunden gedeckt, so daß davon auszugehen ist, daß es hier keine Verzerrungen durch Falschantworten gibt
  
• Bis auf ein paar wenige Ausnahmen (abweichend von Studie zu Studie) sind die Probanden auch in Ihren Antworten bei Mastersurvey und in den tatsächlichen Kundenumfragen konsistent.
  
• Die Beendigungswahrscheinlichkeit konnte bei den involvierten Studien signifikant erhöht werden, woraus wir uns mittel- bis langfristig eine deutlich verbesserte Teilnahmebereitschaft erhoffen.

Die Ergebnisse dieser Studie werden wir übrigens Anfang des Jahres gerne publizieren (Art, Ort und Medium werden noch bekanntgegeben ).Nun gilt es, die ersten Erfahrungen auszubauen, dieses Vorgehen im Panel zu etablieren und unsere Kunden hiervon zu überzeugen.

Ich bin überzeugt davon, daß wir die Teilnahmebereitschaft an Online-Umfragen und damit die Erhebung valider und ehrlicher Daten nur dann dauerhaft sicherstellen können, wenn wir das “Erlebnis Online-Umfragen” für den Probanden wieder deutlich weniger frustrierend und nutzerfreundlicher gestalten! Dieses Vorscreener über eine Masterumfrage ist m.E. ein vielversprechender Weg und ich halte Interessenten natürlich gerne über die Entwicklung auf dem Laufenden.

In diesem Sinne freue ich mich auf eine angeregte Diskussion (per Twitter, über die Kommentarfunktion, per Email, persönlich, … )

So, komme endlich dazu, mich an die versprochene Weiterführung des Blogs vom 24.11. zu machen…

Im ersten Teil hatte ich mich mit den Gründen für sinkende Teilnahmebereitschaft in Online-Panels und eine stetig steigende Panel-Mortalität auseinandergesetzt. Untern anderem wurde hierbei der Punkt Surveytainment bzw. die Art und Weise der in Online Panels durchgeführten Umfragen angerissen. Ich möchte nun noch etwas ausführlicher auf diesen Punkt eingehen, da die Qualität der in Online Panels durchgeführten Umfragen mit Sicherheit einen sehr großen Einfluß auf die Panel Mortalität hat – immerhin ist es Hauptziel und -zweck eines Panels, Online-Umfragen unter den Panelisten durchzuführen.

Im Anschluß möchte ich dann gerne noch einige Lösungsansätze für die angesprochen Problematik rückläufiger Teilnahmeraten vorstellen und eine Vorstellung davon geben, wie ich mir Online Panels in Zukunft vorstelle. Mal sehen, ob ich das alles in diese Folge II gepackt bekomme. Andernfalls muß halt eine Folge III herhalten…

Surveytainment… also: wie kann ich Umfragen für den Probanden/Teilnehmer möglichst spannend und entertaining gestalten um die Teilnahmebereitschaft an Umfragen langfristig zu erhalten? Im Grunde ganz einfach:

Zuerst einmal sollte ich als Forscher mit der gleichen Sorgfalt und Wertschätzung meine Fragen stellen, die ich vom Befragten auch bei der Beantwortung meiner Fragen erwarte. Ist doch selbstverständlich, mag da der geneigte Leser aufschreien. Klar…

sorgfältige Übersetzungen:

sinnvolle Ausfüllanweisungen (weil Tastaturen manchmal so schmieren…):

überlegte Fragestellungen (was macht da jetzt jemand mit mittlerer Reife?):

Es wäre ein einfaches, weitere hunderte Beispiele dieser Art aufzuführen, würde aber den Rahmen sprengen. Was ich damit klar machen will ist, daß noch sehr sehr häufig haarsträubende handwerkliche Fehler in der Fragebogengestlatung und -umsetzung gemacht werden und dies nicht immer vom Panel-Betreiber selbst, sondern auch häufig vom beauftragenden Institut.

Ich habe aber erst neulich zwei interessante Blogeinträge von Olympiamilano zum Thema Matrixfragen in Online-Umfragen gelesen:

- Surveytainment at its best #2
- Matrixfragen – Online eigentlich Unsinn!

Im Grunde klingt mir das sehr einleuchtend und jeder der einmal eine mit elend langen Matrixfragen gespickte Online-Umfrage mitgemacht hat, wird bestätigen, daß das Unsinn ist und dieser Fragetyp für ein Selbtausfüllerinterview gänzlich ungeeignet ist. Trotzdem scheint die Skalenabfrage über diverse Items des Marktforschers liebstes Kind zu sein… Mir drängt sich da häufig das Gefühl auf, der Befragte wird gar nicht mehr als Konsument/Kunde/Mensch gesehen, sondern als Datenproduzent, der möglichst ausgiebig “gemolken” werden soll. Ob ich den Menschen dabei noch zu authentischen, spontanten, ehrlichen Antworten bekomme ist eher zweitrangig, wichtig scheint zu sein, möglichst viel Datenmaterial anzuhäufen…

Eine Frage, die immer hilfreich ist um festzustellen, wie Befragungstauglich oder eben nicht, ein Fragebogen ist:

“Würde ich diesen Fragebogen selbst mit entsprechender Sorgfalt und Konzentration bis zum Schluß beantworten?”

Wenn Ihre Antwort darauf “NEIN” ist: Ändern Sie den Fragebogen ab. Kürzen Sie Fragen heraus oder variieren Sie unterschiedliche Fragetypen, modellieren Sie um. Vielleicht muß sogar das gesamte Studiendesign geändert werden? Die Maxime “Klasse statt Masse” sollte hier auf alle Fälle gelten. Lieber habe ich weniger Datenmaterial, dieses aber durch ehrliche und sinnvolle Beantwortung der Fragen erzielt, als einen Haufen Material von Durchklickern und genervten Probanden.

Und damit haben wir auch schon einen ersten – zugegebenermaßen recht banalen – Lösungsvorschlag für verbesserte Teilnahmebereitschaft und Verweildauer in Online-Panels geliefert: Bessere Umfragen – angepasst an die Gegebenheiten des Internets, an die Besonderheiten bei Selbstausfüllerinterviews und an die Strapazierfähigkeit der Probanden.

Natürlich sollen aber auch ein paar “more sophisticated” Ideen vorgestellt werden, wie man schwindender Teilnahmebereitschaft in Online-Panels entgegentreten kann.

Zum ersten – bereits in Einsatz und von uns erfolgreich angewendet: Unser Panelist Motivation Score – Ein Tool welches anhand der Umfragenhistorie die individuelle Motivation der Probanden „misst“ und somit ein verbessertes Einladen zu Studien ermöglicht.

Und wie funktioniert’s?
Wir unterstellem jeden Panelisten eine Grundmotivation an Umfragen teilzunehmen, ansonsten hätte er/sie sich aller Wahrscheinlichkeit nach nicht im Panel angemeldet. Diese Motivation ändert sich nun bei jeder Einladung zu einer Umfrage, je nachdem wie diese ausgeht:

1. Darf der Panelist vollständig beantworten, steigt der Motivation Score
2. Wird er ausgescreent, bricht er ab oder läuft er in eine volle Quote, sinkt die Motivation, da das Ziel, an Umfragen teilzunehmen, ja nicht erreicht wurde.

Weil das zu einfach wäre, wird der Algorithmus noch durch ein paar weitere Variablen wie z.B. Einladungshäufigkeit, Verweildauer im Panel, Bonuspunktestand, etc. angereichert und schon haben wir einen individuellen Motivationsscore für jeden Panelisten. Dieser Score wird nun wie folgt bei der Ziehung von Stichproben eingesetzt:

Bei einem niedrigen Motivationsscore laden wir bevorzugt zu Umfragen mit hoher Beendigungswahrscheinlichkeit ein. Bei Umfragen mit niedriger Beendigungswahrscheinlichkeit würden wir entsprechend bevorzugt Teilnehmer mit einer hohen Motivation einladen. Hier sei ergänzend darauf hingewiesen, daß wir leider nicht immer auf Studien mit hoher Beendigungswahrscheinlichkeit (also hohe Inzidenz) zurückgreifen können. Daher „kreiern“ wir s.g. Motivationsstudien, bei welchen jeder teilnehmen darf.

Was bringt’s? Viel! In einer Testphase von 3 Monaten konnten wir bei der Gruppe mit Motivationsscore eine um 6% höhere Teilnahmebereitschaft feststellen, als in der Testgruppe ohne Motivationsscore. Auch seit der festen Einführung des PMS in unserem Panel haben sich die Teilnahmeraten stabilisiert und z.T. sogar erhöht, wobei das Messen hier etwas schwieriger ist, da im tgl. Panel-Management natürlich noch weitere Effekte (unterschiedliche Incentives, Neurekrutierungen, inaktive, …) eine Rolle spielen.

Für uns lässt sich festhalten: ein wertschätzender und respektvoller Umgang mit unseren Panelteilnehmern gepaart mit dem Einsatz des Panelist Motivation Score hilft eindeutig, die Teilnahmebereitschaft der Probanden zu verbessern.

Trotzdem – ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs (hoffentlich recht bald in den nächsten Tagen!) eingehen.

In Zusammenarbeit mit dem etablierten Industrieberatungsunternehmen Consultic bietet die ODC Services GmbH ihren Kunden nun Zugang zu Malern (ca. 2.000 Betriebe), Sanitär-, Heizung-, Klima-Installateuren (ca. 2.000 Betriebe) und Tischlern (ca. 4.000 Betriebe) in Deutschland. Weiterhin soll kurzfristig ein weiteres Panel mit Elektroinstallateuren (Ziel: ca. 2.000 Betriebe) hinzugefügt werden.

Dazu Christoph Irmer, CEO der ODC Services GmbH: „Über das ODC Handwerkerpanel können wir unseren Kunden nun Zugang zu einer Online bislang nur schwer erreichbaren Zielgruppe bieten.“

Die Adressen sind qualifiziert nach Anzahl Mitarbeiter, Betriebsgröße und Region. Adressierte Zielpersonen sind überwiegend die Inhaber der Betriebe oder aber Entscheider (Meister, etc.).

Weitere Informationen zum ODC Handwerkerpanel erhalten Sie unter:
www.odc-services.com/de/panels/handwerker.htm

Vortrag von Christoph Irmer, CEO der ODC Services GmbH anlässlich des 10 jährigen Jubiläums der Globalpark AG.

Wie alle Panelanbieter kämpft ODC mit rückläufigen Teilnahmeraten und schneller steigenden Mortalitätsraten der Panelmitglieder. Als Gründe werden von Herrn Irmer in seinem Vortrag identifiziert:

1. Panelistenrekrutierung ist deutlich schwieriger (u.a. sinkende Klickraten, Pop-Blocker, großer Wettbewerb)
2. Marktforschung ist i.d.R. weniger ‚sexy‘ als versprochen (z.B. Umfragen sind in der Praxis selten spannend, (zu) viele Matrix-Fragen etc.)
3. Zusammenarbeit von Panel-Anbietern und deren Kunden verläuft häufig nicht optimal (z.B. zu viele Screenouts, Quota-Fulls, falsche Versprechen, schlechte Qualität der Fragebogen)

Dieses führt schlussendlich zur Frustration der Panelisten und zu einer niedrigen Motivation, Studien zu beenden oder gar erst zu beginnen.

ODC wirkt mit dem sogenannten „ODC Panelist Motivation Score“ entgegen. Der Motivation Score unterteilt die Panelisten in drei Gruppen und berücksichtigt hierbei die Beendigungswahrscheinlichkeit der Umfragen:  „Top“-Motivierte werden zu Studien eingeladen, die eine niedrige Beendigungsquote haben; „Mid“-Motivierte werden zu Umfragen mit mittlerer Beendigungwahrscheinlichkeit eingeladen und „Low“- Motivierte zu Studien mit sehr hoher Completion Rate.

Hierfür wird der von EFS Panel standardmäßig integrierte PCI-Index genutzt und bei der Stichprobenziehung zu den Studien berücksichtigt. ODC führt seine stabilen Rücklaufquoten u.a. auf den Einsatz des Motivation Score zurück.

Weiterhin entwickelt ODC derzeit in Zusammenarbeit mit Globalpark ein Konzept, um einen sogenannten Master-Screener zu nutzen. Hierbei werden die Screening-Fragen von verschiedenen Umfragen in einen Screener zusammengefasst und der Panelist wird automatisch in die geeignete Studie geleitet. Dadurch wird die Teilnahmewahrscheinlichkeit für den Panelisten deutlich erhöht und somit seine Motivation an weiteren Studien im Panel teilzunehmen.