Nachdem Anfang des Jahres die übliche Erneuerung von Auswahlmöglichkeiten in den Profilfragebögen unserer verehrten Pamelteilnehmer anstand, haben wir uns gleich Gedanken gemacht, wie man die Profile sinnvoll erweitern oder auch zusammenfassen kann.

Was ist bei einer Erhebung von Selektionskriterien für unsere Kunden zu beachten?

Zunächst sind alle Auswahlmöglichkeiten mit Jahreszahlen um die Auswahlmöglichkeit “2010″ zu erweitern. Gut, klar.
Weiterhin haben wir uns entschlossen, die bisher 11 Profile für unsere Panelteilnehmer auf zukünftig 6 zu reduzieren.

Die Bereiche “Internet& Technologie” und “Medien” werden zusammengefasst, genauso wie “Interessen&Hobbies”, “Sportfan” und “Reisen” zu einem neuen Profil wird.
Die gesamte Zusammenfassung sehen Sie in folgender Abbildung:

Außerdem ist natürlich wichtig, welche neuen Variablen für unsere Auftraggeber interessant sein könnten.

Im Bereich der Kaufintention oder dem Besitz elektrischer Geräte sind HD Fernseher, Tablet-PCs und Smartphones in und besonders gefragt.
Internetprovider fragen wir seit einem halben Jahr auch wieder ab. Hier sind besonders die UMTS Verträge interessant (Nach der Nutzung fragen wir extra).

Bei der Auswahl des Berufs gehen wir nach der International Standard Industrial Classification (ISIC). Weil hier aber sehr viele Dienstleistungen zusammengefasst sind und die Unterkategorien des “produzierenden Gewerbes” nochmal gesondert abgefragt wurden, haben wir die Liste um einige Auswahlelemente erweitert, so dass nun jeder bei der Branchenauswahl eine geeignete Antwort finden sollte.

Das Thema “grüne Energie” haben wir als eines der ersten Online-Panels aufgegriffen und fragen nach Verwendung oder Intention der zukünftigen Verwendung verschiedener alternativer Energien.

Statt einzelner Fernsehsender werden beim Pay-TV Abo gefragt, welche Pakete man den abonniert hat (Sport, Spielfilm, Kinder, …).


Und schliesslich geht es auch ums Ausmisten von Variablenausprägungen, die einfach zu wenig genannt werden oder die noch nie angefragt wurden.
Hier sind z.B. einige seltene Krankheiten, Banken (ja, auch im Rahmen der Finanzkrise verändern sich Variablen), alte Automodelle,

Die Auflistung von TV Sendern, die man “zumindest gelegentlich” mal anschaut, haben wir auch weggelassen, weil wir den Panelisten keine Liste mit 50 Fernsehsendern zumuten wollen, von denen jeder seine 10 Favoriten raussucht.

Anregungen und Kritik von Kundenseite sind übrigens sehr willkommen. Schliesslich erheben wir diese Daten doch für Sie!

March, 5th: Panel Research revisited – AIMRI Meeting, Rome: Our international Sales Manager and native Italian, Silvia Fracchia, flys to Rome to attend this years AIMRI Meeting on Panel Research.

March, 8th-9th: Mobile Research Conference, London: Our dear colleague and Director of Panel Management Christoph Bender joins this years Mobile Research Conference in London to learn and share insights and latest developments in Mobile Research!

May, 26th-28th: GOR Conference 2010, Pforzheim: Steffi Preiß, Florian Tress and Christoph Irmer will have a nice car-ride to Pforzheim in May to attend this years GOR conference. Next to a lot of interest in exchaning views and thoughts on Online Research, they will bring 2 speeches:

Are well-selected panelists better respondents? Insights into the effect of a master screener on panel performance and data quality – Thursday, May 27th, 12pm

Is the Crowd wise enough to predict the Election Results for the German “Bundestag”? – Friday, May 28th, 2.15pm – together with Thomas Donath, Managing Director of Nordlight Research.

June, 16th-17th: BVM Kongress, Bonn: We’ve still not decided who will attend this year’s BVM-Congress in Bonn but one thing’s for sure: We will definitely be there! Stay tuned for further news

Unser Panel-Management-Team macht es ja schon seit Längerem – und das mit Eifer und Erfolg. Mittlerweile SCRUMMEN wir alle…

Was für einige anfangs nach einem etwas theoretischen und ungewöhnlichem Vorschlag unseres Teamleiters Panel-Management klang, hat sich bei ODC Services mittlerweile zu einem  festen Bestandteil des Unternehmens-Alltags entwickelt.

Das aus der IT stammende Vorgehensmodell SCRUM wurde erstmals im Zuge der Software-Entwicklung eingesetzt. Uns bei ODC hilft SCRUM mittlerweile wichtige Aufgaben außerhalb des Tagesgeschäfts nicht hinten anzustellen, sondern nach und nach abzuarbeiten.

Jeden Montag nach dem Mittag treffen sich alle 15 ODCler im Konferenzraum, um die erledigten Aufgaben (sog. Scrum-Tasks) abzuhaken, Neue mit in die Liste aufzunehmen und neue Teams zu bilden, die sich für eine Woche (sog. Sprint)  um jeweils 1-2 Aufgaben kümmern.

Zu Tasks können alle möglichen Aufgaben gemacht werden. So wurde zum Beispiel die Entscheidung für ein neues Panelland getroffen, dadurch wird es ODC bald bei Facebook geben und ein Scrum-Team wird demnächst ein Testwebinar durchführen, was wir möglicherweise in Zukunft unseren Kunden anbieten. Wichtig ist dabei, dass in jeder Gruppe jeweils mindestens ein Mitglied aus jeder Abteilung (Sales, Projekt-Management und Panel-Management) mitwirkt, sodass die Bedürfnisse und Ansichten jedes Teams berücksichtigt werden.

Es mag nicht immer ganz einfach sein, die Aufgaben zeitlich unterzubringen, aber man sieht nach jeder Woche, dass etwas vorangegangen ist und wir uns enorm weiter entwickeln. Außerdem ist es gut für die Teambildung auch mal mit Kollegen aus anderen Abteilungen zu arbeiten.

Die ersten Tage eines neuen Jahres gelten meist dem Abschluss des Vorgängerjahrs. Die letzten Daten werden behutsam in die bestehenden Statistiken eingepflegt und man findet nebenbei ein wenig Zeit, sich mit den Zahlen auseinanderzusetzen. Auch ich habe hier ein wenig gestöbert und dabei ist mir im Feedback, das uns die Panelisten zu den Umfragen geben, ein interessanter Effekt aufgefallen.

Die Beurteilung der Länge einer Befragung durch die Befragten korreliert mit der tatsächlichen Länge: je kürzer die Umfrage ist, desto besser das Urteil. Soweit, so unspektakulär. Kontrolliert man diese Korrelation jedoch statistisch auf die Zufriedenheit mit allen anderen Aspekten der Umfrage, so nimmt die Stärke des Zusammenhangs deutlich ab (bleibt aber schwach erhalten). Mit anderen Worten: wenn Inhalt und Bedienbarkeit einer Umfrage positiv erlebt werden, führt eine längere Befragungszeit weniger stark zur Unzufriedenheit.

Dieses Ergebnis passt gut in die aktuelle Diskussion ums Surveytainment – geht es hier nicht stark vereinfacht um die Frage, wie man die Teilnehmer an Umfragen möglichst lange bei Laune halten kann? Wohlgemerkt bezieht sich das vorliegende Ergebnis aber nicht auf Befragungen, die nahe am multimedialen Overkill liegen und vorwiegend aus Flash-Spielchen à la „Karten ins Körbchen“ bestehen, sondern um den breiten Durchschnitt der Befragungen – und dieses Spektrum reicht von recht kurzweiligen Studien bis hin zu langwierigen, redundanten Befragungen. Um den Befragten längere Umfragen zumuten zu können, müssen also nicht unbedingt Mickeymäuse am Bildschirmrand Polonaise tanzen (so ein Verständnis von Surveytainment würde mir nebenbei bemerkt ohnehin eher Angst einflößen), sondern ein verständliches Fragenkonzept und eine einfache Bedienbarkeit der Umfrage haben bereits gute Effekte.

Bleibt die Frage, was man mit dieser Erkenntnis für das noch junge Jahr anfängt? Nun, man kann sich zumindest die implizite Anmahnung der Sorgfaltspflicht bei der Feldarbeit zu Herzen nehmen. Und da man Inhalt und Länge einer Befragung nur selten einer größeren Unterhaltsamkeit preisgeben möchte, muss das Augenmerk umso stärker auf  der einwandfreien Bedienbarkeit liegen. In diesem Sinne: ein gutes und unterhaltsames Jahr 2010!

Die ruhige Zeit zwischen den Jahren lässt sich gut dazu verwenden, ein paar technische Neuerungen durchzuführen, um mit mehr Schwung in’s neue Jahr zu starten.

Intern ist es einfacher, mal den Server aufzuräumen und neuzustarten, wenn nicht so viele Kollegen gerade darauf zugreifen. So lässt sich schon mal eine kompatible Umgebung für Windows 7 Clients erschaffen. Eine schnelle Verbreitung wird ja schon prognostiziert und wir haben auch schon ein Windows 7 Testsystem laufen:

Eine Studie des Marktforschungs- und Beratungsunternehmens IDC rechnet mit einer schnellen Verbreitung von Windows 7 bei Firmen. Laut der Prognose wird innerhalb eines Jahres nach der Markteinführung im Oktober 2009 auf 49,5 Prozent aller Firmen-PCs das neue Betriebssystem laufen.

Der Anteil von Windows 7 auf ausgelieferten Firmen-PCs soll sich 2011 auf 75 Prozent erhöhen, während Windows Vista 2010 auf 15 Prozent abfällt und 2011 nur noch bei 0,5 Prozent liegt. 2012 soll der Anteil von Windows 7 bei 90 Prozent liegen, 2013 bei 95 Prozent.

Und auch bei den gehosteten Webapplikationen hat sich etwas getan. Wer unseren Blog früher schon mal besucht hat, wird feststellen, dass er nun schneller geworden ist.
Hier möchte ich mich beim Blogger-Kollegen Schnurpsel bedanken, der mich durch seinen Artikel SpeedPlus – Strato macht PHP-Anwendungen schneller auf den richtigen Weg gebracht hat. Die Umstellung bei unserem Webhoster Strato hat nun auch relativ schnell und kostenlos (!) geklappt.
Auffällig war, dass ich auf meine Anfrage und Nachfragen über das Prozedere insgesamt 6 Antwortmails von verschiedenen Strato-Support Mitarbeitern erhalten habe, die alle überaus freundlich waren und immer auf den Onlinefragebogen zur Bewertung der Supportleistung hingewiesen haben. Durch diese Rating-Systeme scheint sich die Support Qualität wirklich verbessert zu haben. Ich kann mich an Zeiten erinnern, wo man nur mit Glück mal eine kompetente Antwort erhalten hat.


Weiterhin bastele ich gerade an dem Relaunch unserer Online Panelseite www.opinion-people.com herum muss mich mit den Problemen eines jeden Webdesigners rumschlagen, der eine möglichst grosse Masse an Menschen mit seiner Seite erreichen will: Browserkompatibilitäten.

Ständiges Validieren nach W3C Standards reicht nicht aus, man muss immer noch ein paar Extra Tricks und Hacks für die Kandidaten Internet Explorer 6,7 und 8 einbauen, die sowohl zu den Regeln des W3C, wie auch untereinander immer wieder erstaunliche Inkompatibilitäten aufweisen.
Eine Meldung auf heise.de von letzter Woche hat mir jedoch Hoffnung gemacht, dass wir auf dem Weg der Besserung sind, da Firefox 3.5 den Internet-Explorer 7.0 nun auch weltweit überholt hat. Leider machen aber immer noch die 5%, die den Internet Explorer 6 benutzen, die meiste Arbeit.
Als Webentwickler würde ich diese Gruppe vernachlässigen und sagen: “Selbst Schuld! Holt auch einen aktuellen Browser”, aber als Marktforscher kann man eben keine Zielgruppe vernachlässigen. Also heisst es weiter: “Testen, testen, testen…”

Ich wünsche schon mal einen guten Rutsch ins neue Jahr (und vielleicht ein Browser-Update).

Ein freundliches Hallo zum dritten und letzten Teil meines Blogs, mit dem ich meine ganz persönliche Einschätzung zur aktuellen Lage von Online Access Panels zum Besten gebe.

Hier findet der geneigte Leser übrigens zu den ersten beiden Artikeln: Teil 1; Teil 2

Zum Ende des Vorgänger-Blogs hatte ich ja versprochen, das meines Erachtens grundlegende Problem von Online Access Panels angehen zu wollen:

“… [] Ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs eingehen. “

Und bitte schön, hier kommt unser Vorschlag:

Wie würde es denn aussehen, wenn wir das Panelmanagement sowie die Durchführung von Online-Umfragen in Online-Panels nicht mehr projektbezogen, sondern panelbezogen angehen? Was meine ich damit?

Bisher gehen Online-Panels i.d.R. so vor, daß sie projektbezogen Gruppen aus dem Online-Panel vorselektieren und einladen. Wie in Teil 1 dieses Beitrags bereits erwähnt, führt dies zu extrem hohen Screenoutraten und in der Konsequenz logischerweise zu viel Frustration beim Probanden.

Hier müssen wir ansetzen und aus Qualitäts- und Quantitätsgründen die Beendigungswahrscheinlichkeit in Online-Umfragen deutlich erhöhen! Klar: Kunden haben meist sehr genau Vorstellungen, wie Ihre Zielgruppe auszusehen hat und häufig sind diese sehr eng gefasst. Dies natürlich auch häufig zurecht und so wird es sich dauerhaft nicht vermeiden lassen, sprichtwörtlich nach der Nadel im Heuhaufen zu suchen. Die Frage, die ich mir hierbei aber stelle: “Muß das auf Projektebene stattfinden?”

Wie wär’s denn damit:

Die Zielgruppensuche findet – statt projektbezogen – ständig und fortlaufend in einer dynamischen Masterumfrage statt. Diese wird (für jedes Panelland) durchgeführt und ständig durch das Hinzufügen und Herausnehmen von Screeningfragen an die jeweils laufenden Projekte angepasst. Teilnehmer des Online-Panels werden nun fortlaufend befragt und die Probanden anhand Ihrer Ergebnisse in entsprechende Gruppen gespielt, je nachdem für welche(s) Projekt(e) sie sich qualifiziert haben.

Somit habe ich – zumindest theoretisch – die Zielgruppen für einzelne Projekte vorgescreent und kann nun tatsächlich Probanden auf Umfragen einladen, die sie mit sehr, sehr hoher Wahrscheinlichkeit beenden können.

Der Ablauf im Detail ist wie hier aufgezeigt:

Die Vorteile (bzw. korrekterweise angenommenen Vorteile):

• schon durch seine Teilnahme an der Mastersurvey nimmt der Proband an einer (incentivierten) Umfrage teil ohne ausgescreent zu werden
  
• die Einladung für weitere Projekte erfolgt anhand der Antworten aus der Mastersurvey – somit wird im Grunde nur noch eingeladen, wer in die entsprechende Zielgruppe passt
  
• das Frustrationslevel der Teilnehmer nimmt ab, da das frustrierende “Sie gehören diesmal leider nicht zur Zielgruppe” weitestgehend entfällt
  
• den Panelisten wird dauerhaft der Grund genommen, sich durch antrainiertes, geändertes Antwortverhalten für Umfragen zu qualifizieren – wenn er eine Einladung zu einer Umfrage erhält, darf er im Normalfall auch tatsächlich an dieser Umfrage teilnehmen!
  
• auf lange Sicht sollte dies zu verbesserter Datenqualität führen
  
• die Panelmortalität wird gesenkt

Natürlich gibt es aber auch hier einige Knackpunkte, die noch weitergehend überprüft und ggf. “nachbearbeitet” werden müssen:

• Wie funktioniert eine Aneinanderreihung von Screeningfragen aus unterschiedlichen Studien in einer solchen Master-Survey?
  
• Wie reagieren Kunden auf dieses Vorgehen?
  
• Nach welchen Kriterien priorisiere ich die parallel laufenden Projekte, wenn Panelisten in mehrere Zielgruppen passen, sich also für mehrere Projekte qualifizieren?
  
• Wie gehe ich mit der Master-Survey bei zeitkritischen Projekten um?
  
• Wie häufig müssen Panelisten künftig auf die Mastersurvey eingeladen werden?

Wir führen derzeit in unserem deutschen Panel seit Anfang Dezember einen Test durch und machen hier bisher sehr positive Erfahrungen:

• Die erzielten Inzidenzraten in der Mastersurvey haben sich bisher sehr gut mit den angegebenen Erfahrungswerten unserer Kunden gedeckt, so daß davon auszugehen ist, daß es hier keine Verzerrungen durch Falschantworten gibt
  
• Bis auf ein paar wenige Ausnahmen (abweichend von Studie zu Studie) sind die Probanden auch in Ihren Antworten bei Mastersurvey und in den tatsächlichen Kundenumfragen konsistent.
  
• Die Beendigungswahrscheinlichkeit konnte bei den involvierten Studien signifikant erhöht werden, woraus wir uns mittel- bis langfristig eine deutlich verbesserte Teilnahmebereitschaft erhoffen.

Die Ergebnisse dieser Studie werden wir übrigens Anfang des Jahres gerne publizieren (Art, Ort und Medium werden noch bekanntgegeben ).Nun gilt es, die ersten Erfahrungen auszubauen, dieses Vorgehen im Panel zu etablieren und unsere Kunden hiervon zu überzeugen.

Ich bin überzeugt davon, daß wir die Teilnahmebereitschaft an Online-Umfragen und damit die Erhebung valider und ehrlicher Daten nur dann dauerhaft sicherstellen können, wenn wir das “Erlebnis Online-Umfragen” für den Probanden wieder deutlich weniger frustrierend und nutzerfreundlicher gestalten! Dieses Vorscreener über eine Masterumfrage ist m.E. ein vielversprechender Weg und ich halte Interessenten natürlich gerne über die Entwicklung auf dem Laufenden.

In diesem Sinne freue ich mich auf eine angeregte Diskussion (per Twitter, über die Kommentarfunktion, per Email, persönlich, … )

Wie in vorherigen Blog-Einträgen bereits angedeutet, beschäftigen wir uns momentan verstärkt damit, wie es gelingen kann die Qualität der in Online Panels durchgeführten Umfragen zu verbessern und diese für den einzelnen Teilnehmer spannender zu gestalten.

Denn jeder, der bereits einmal an einer Online-Umfrage teilgenommen hat, wird festgestellt haben, dass diese in den seltensten Fällen spannend gestaltet sind. Vielmehr zeichnen sich die derzeit online durchgeführten Umfragen oftmals durch z.B. eine Abfolge von Matrixfragen aus und wirken entsprechend monoton und langweilig. Um dem entgegen zu wirken, haben wir bei ODC Services verschiedene neue Fragetypen entwickelt, die auf die Interaktivität mit den Usern abzielen.

Um beim Beispiel der Matrixfragen zu bleiben, haben wir als neues Tool unsere sogenannte Flash-Skalenklick-Matrix entwickelt, bei der die Matrixattribute dem User nacheinander präsentiert werden. Sobald die Bewertung durch Klicken auf die Skala erfolgt ist, verschwindet das aktuelle Attribut und das nächste rückt zur Bewertung in den Vordergrund. Wie genau dieser Fragetyp und die vielen neuen anderen Features funktionieren, können Sie sich in der nachfolgenden Musterpräsentation ansehen.

Viel Spaß!

Im monatlichen Mitarbeiterportät blicken wir mit Euch hinter die Kulissen der ODC-Maschinerie.

Ihr erhaltet Einblicke, wer hier eigentlich was bewegt und wie das alltägliche Arbeiten bei ODC Services aussieht.

In diesem Monat stellt sich vor:

Agnieszka Käszmann (Project Manager)

Das hatten die Veranstalter des 17. Icon Added Value Congresses schlau eingefädelt: um ein frühzeitiges Verlassen der Veranstaltung zu vermeiden, wurde das leckere Lebkuchenmousse erst nach Ende des letzten Vortrags gereicht. Dabei wäre das gar nicht notwendig gewesen, waren die Berichte rund um das Thema Markenführung und –kommunikation doch überaus spannend, informativ und unterhaltend.

Gemeinsam mit Christoph Irmer war ich der Einladung von Icon Added Value nach Nürnberg gerne gefolgt und lauschte am vergangenen Freitag den Vorträgen solch illustrer Marken wie Hacker Pschorr, Sparkasse, Triumph und adidas.

Unschlagbar: Herr Andreas Steinfatt, seines Zeichens Geschäftsführer der Hacker Pschorr Bräu GmbH, der in am gscheitn Bayrisch die “Revitalisierung eines bayrischen Urgesteins: Hacker-Pschorr auf dem Weg in die Zukunft“ erklärte.

Vielleicht hat mir der a deszweng so gfoin weil der aus meina Heimat kimmt, vielleicht aber auch, weil er es aufs Beste verstand, die Entwicklung einer Traditionsmarke im Laufe der Zeit dem geneigten Zuhörer sympathisch, witzig und spannend rüberzubringen.

Was blieb war eine Frage von Christoph: Warum empfahl der nette Herr Steinfatt ständig des fade Paulaner Weißbier, wenn doch im Unternehmensverbund auch ein so tolles Weißbier der Marke Hopf geführt wird? Leider haben wir keine Gelegenheit gefunden, Herrn Steinfatt persönlich zu fragen, aber wer weiß, vielleicht können wir das irgendwann nachholen!

Auch ansonsten ließen sich die Vorträge der einzelnen Sprecher sehr gut anhören:

- The value of consumer insights: Create the best intimate apparel shopping experience for HER, Triumph

- Vertrauen ist der Anfang von allem….Die Kommunikation der Sparkassen in der Finanzkrise, Deutscher Sparkassen- und Giroverband

- Leveraging the new world of communications, adidas
-> Toller Vortrag (in Thema und Präsentation) zum Umgang einer großen Marke mit Social Media!

- Warum Marken über neue Wege nachdenken müssen, Icon Added Value
-> Auch ein sehr interessanter Vortrag des CEO von Icon Added Value zum Thema Markenführung heute

Der Tag im Germanischen Nationalmuseum in Nürnberg hat mir einerseits die Hintergründe der Marktforschung aus Sicht der Endkunden aufgezeigt, andererseits war er auch tatsächlich Anstoß, einmal über das „Markenleben ODC“ nachzudenken. Auf alle Fälle sind wir mit viel Informationen und Ideen zurück nach München gefahren und zumindest Christoph hat sich schon auf der Heimfahrt sehr auf ein Hacker Pschorr Helles gefreut!

Gerne sind wir auch nächstes Jahr wieder vor Ort, wenn Icon Added Value zum 18. Congress einlädt!

So, komme endlich dazu, mich an die versprochene Weiterführung des Blogs vom 24.11. zu machen…

Im ersten Teil hatte ich mich mit den Gründen für sinkende Teilnahmebereitschaft in Online-Panels und eine stetig steigende Panel-Mortalität auseinandergesetzt. Untern anderem wurde hierbei der Punkt Surveytainment bzw. die Art und Weise der in Online Panels durchgeführten Umfragen angerissen. Ich möchte nun noch etwas ausführlicher auf diesen Punkt eingehen, da die Qualität der in Online Panels durchgeführten Umfragen mit Sicherheit einen sehr großen Einfluß auf die Panel Mortalität hat – immerhin ist es Hauptziel und -zweck eines Panels, Online-Umfragen unter den Panelisten durchzuführen.

Im Anschluß möchte ich dann gerne noch einige Lösungsansätze für die angesprochen Problematik rückläufiger Teilnahmeraten vorstellen und eine Vorstellung davon geben, wie ich mir Online Panels in Zukunft vorstelle. Mal sehen, ob ich das alles in diese Folge II gepackt bekomme. Andernfalls muß halt eine Folge III herhalten…

Surveytainment… also: wie kann ich Umfragen für den Probanden/Teilnehmer möglichst spannend und entertaining gestalten um die Teilnahmebereitschaft an Umfragen langfristig zu erhalten? Im Grunde ganz einfach:

Zuerst einmal sollte ich als Forscher mit der gleichen Sorgfalt und Wertschätzung meine Fragen stellen, die ich vom Befragten auch bei der Beantwortung meiner Fragen erwarte. Ist doch selbstverständlich, mag da der geneigte Leser aufschreien. Klar…

sorgfältige Übersetzungen:

sinnvolle Ausfüllanweisungen (weil Tastaturen manchmal so schmieren…):

überlegte Fragestellungen (was macht da jetzt jemand mit mittlerer Reife?):

Es wäre ein einfaches, weitere hunderte Beispiele dieser Art aufzuführen, würde aber den Rahmen sprengen. Was ich damit klar machen will ist, daß noch sehr sehr häufig haarsträubende handwerkliche Fehler in der Fragebogengestlatung und -umsetzung gemacht werden und dies nicht immer vom Panel-Betreiber selbst, sondern auch häufig vom beauftragenden Institut.

Ich habe aber erst neulich zwei interessante Blogeinträge von Olympiamilano zum Thema Matrixfragen in Online-Umfragen gelesen:

- Surveytainment at its best #2
- Matrixfragen – Online eigentlich Unsinn!

Im Grunde klingt mir das sehr einleuchtend und jeder der einmal eine mit elend langen Matrixfragen gespickte Online-Umfrage mitgemacht hat, wird bestätigen, daß das Unsinn ist und dieser Fragetyp für ein Selbtausfüllerinterview gänzlich ungeeignet ist. Trotzdem scheint die Skalenabfrage über diverse Items des Marktforschers liebstes Kind zu sein… Mir drängt sich da häufig das Gefühl auf, der Befragte wird gar nicht mehr als Konsument/Kunde/Mensch gesehen, sondern als Datenproduzent, der möglichst ausgiebig “gemolken” werden soll. Ob ich den Menschen dabei noch zu authentischen, spontanten, ehrlichen Antworten bekomme ist eher zweitrangig, wichtig scheint zu sein, möglichst viel Datenmaterial anzuhäufen…

Eine Frage, die immer hilfreich ist um festzustellen, wie Befragungstauglich oder eben nicht, ein Fragebogen ist:

“Würde ich diesen Fragebogen selbst mit entsprechender Sorgfalt und Konzentration bis zum Schluß beantworten?”

Wenn Ihre Antwort darauf “NEIN” ist: Ändern Sie den Fragebogen ab. Kürzen Sie Fragen heraus oder variieren Sie unterschiedliche Fragetypen, modellieren Sie um. Vielleicht muß sogar das gesamte Studiendesign geändert werden? Die Maxime “Klasse statt Masse” sollte hier auf alle Fälle gelten. Lieber habe ich weniger Datenmaterial, dieses aber durch ehrliche und sinnvolle Beantwortung der Fragen erzielt, als einen Haufen Material von Durchklickern und genervten Probanden.

Und damit haben wir auch schon einen ersten – zugegebenermaßen recht banalen – Lösungsvorschlag für verbesserte Teilnahmebereitschaft und Verweildauer in Online-Panels geliefert: Bessere Umfragen – angepasst an die Gegebenheiten des Internets, an die Besonderheiten bei Selbstausfüllerinterviews und an die Strapazierfähigkeit der Probanden.

Natürlich sollen aber auch ein paar “more sophisticated” Ideen vorgestellt werden, wie man schwindender Teilnahmebereitschaft in Online-Panels entgegentreten kann.

Zum ersten – bereits in Einsatz und von uns erfolgreich angewendet: Unser Panelist Motivation Score – Ein Tool welches anhand der Umfragenhistorie die individuelle Motivation der Probanden „misst“ und somit ein verbessertes Einladen zu Studien ermöglicht.

Und wie funktioniert’s?
Wir unterstellem jeden Panelisten eine Grundmotivation an Umfragen teilzunehmen, ansonsten hätte er/sie sich aller Wahrscheinlichkeit nach nicht im Panel angemeldet. Diese Motivation ändert sich nun bei jeder Einladung zu einer Umfrage, je nachdem wie diese ausgeht:

1. Darf der Panelist vollständig beantworten, steigt der Motivation Score
2. Wird er ausgescreent, bricht er ab oder läuft er in eine volle Quote, sinkt die Motivation, da das Ziel, an Umfragen teilzunehmen, ja nicht erreicht wurde.

Weil das zu einfach wäre, wird der Algorithmus noch durch ein paar weitere Variablen wie z.B. Einladungshäufigkeit, Verweildauer im Panel, Bonuspunktestand, etc. angereichert und schon haben wir einen individuellen Motivationsscore für jeden Panelisten. Dieser Score wird nun wie folgt bei der Ziehung von Stichproben eingesetzt:

Bei einem niedrigen Motivationsscore laden wir bevorzugt zu Umfragen mit hoher Beendigungswahrscheinlichkeit ein. Bei Umfragen mit niedriger Beendigungswahrscheinlichkeit würden wir entsprechend bevorzugt Teilnehmer mit einer hohen Motivation einladen. Hier sei ergänzend darauf hingewiesen, daß wir leider nicht immer auf Studien mit hoher Beendigungswahrscheinlichkeit (also hohe Inzidenz) zurückgreifen können. Daher „kreiern“ wir s.g. Motivationsstudien, bei welchen jeder teilnehmen darf.

Was bringt’s? Viel! In einer Testphase von 3 Monaten konnten wir bei der Gruppe mit Motivationsscore eine um 6% höhere Teilnahmebereitschaft feststellen, als in der Testgruppe ohne Motivationsscore. Auch seit der festen Einführung des PMS in unserem Panel haben sich die Teilnahmeraten stabilisiert und z.T. sogar erhöht, wobei das Messen hier etwas schwieriger ist, da im tgl. Panel-Management natürlich noch weitere Effekte (unterschiedliche Incentives, Neurekrutierungen, inaktive, …) eine Rolle spielen.

Für uns lässt sich festhalten: ein wertschätzender und respektvoller Umgang mit unseren Panelteilnehmern gepaart mit dem Einsatz des Panelist Motivation Score hilft eindeutig, die Teilnahmebereitschaft der Probanden zu verbessern.

Trotzdem – ein grundlegendes Problem von Online-Panels ist damit noch nicht behoben: Wir entnerven und enttäuschen Probanden immer noch zu häufig durch umfangreiche Zielgruppenscreenings und zu viele Einladungen auf Befragungen, an welchen der Proband meist nicht teilnehmen darf (siehe Teil 1 dieses Blogs), weil Quoten bereits voll sind oder der Proband nicht in die gesuchte Zielgruppe passt.

Hier denke ich, das Panel-Betreiber ansetzen müssen, wenn sie die Teilnahmebereitschaft und damit ihre eigentliche Geschäftsgrundlage langrfristig erhalten wollen. Bei ODC Services beschäftigen wir uns derzeit sehr intensiv mit diesem Thema und ich möchte darauf im dritten und abschließenden Teil dieses Blogs (hoffentlich recht bald in den nächsten Tagen!) eingehen.