Archiv

Artikel Tagged ‘GOR 2010’

A hitchhiker’s guide to satisfied panelists and better panel performance

Letzten Dezember hatte Christoph Irmer in diesem Blog eine Artikelserie (Quo Vadis Online Panels Teil 1, Teil 2 und Teil 3) veröffentlicht, in der er ganz grundsätzlich die Praxis der Panelanbieter auf den Prüfstand stellte. Zum Abschluss der Reihe wurde darin die erste grobe Idee eines Masterscreeners vorgestellt, in den wir große Hoffnungen zur Verbesserung der Panelperformance legten – und im selben Zug auch erste Erfahrungsberichte mit dieser neuen Maßnahme angekündigt.

Voila! Fast ein halbes Jahr später haben wir nun die ersten Ergebnisse auf der GOR 2010 vor einem kritischen Fachpublikum vorgestellt. Und – so viel darf man schon vorweg nehmen – die Resonanz war durchweg recht positiv.

Der Vortrag begann mit einer kurzen Zusammenfassung der Probleme, auf die wir mit dem Masterscreener reagieren wollten. Unsere beiden Hauptziele waren eine höhere Beendigungswahrscheinlichkeit bei Umfragen und eine höhere Motivation der Panelisten. Daher wurden von den vielen Eigenstudien, die wir zum Masterscreener durchgeführt hatten, exemplarisch die beiden Untersuchungen vorgestellt, die eine Antwort darauf geben konnten, ob wir unseren Zielen näher gekommen waren.

Die erste Untersuchung betraf eine einfache Auswertung der Panelperformanzdaten, wie sie standardmäßig für jeden Panelisten erhoben werden. Hier wurde das erste Quartal 2009 (ohne Masterscreener) mit dem ersten Quartal 2010 (mit Masterscreener) verglichen – und zwar für aktive Bestandspanelisten, die regelmäßig am Masterscreener teilgenommen haben. „Aktiv“ bedeutet hier, dass die Panelisten eine überdurchschnittliche Teilnahmebereitschaft aufweisen – was der Tatsache geschuldet war, dass in den drei Monaten der Vergleichszeiträume auch ausreichend Performanzdaten angefallen sein mussten, um einen Vergleich durchführen zu können. Das Ergebnis kann sich sehen lassen: die Beendigungswahrscheinlichkeit hat sich verdreifacht – was unter anderem bedeutet, dass unsere Panelisten nun mehr positive als negative Erlebnisse haben, wenn sie eine Umfrage beginnen.

Insofern verwundert es auch nicht, dass die Zufriedenheit mit der Panelmitgliedschaft in unserer zweiten Studie für solche Panelisten höher ist, die regelmäßig am Masterscreener teilgenommen haben. Vor allem der gute Wert bei der Weiterempfehlungsbereitschaft der Panelmitgliedschaft – also nicht nur die einfache Motivation unserer Panelisten, sondern sogar die Motivation andere Menschen zu motivieren – spricht für die positiven Effekte des Masterscreeners.

Wenngleich also aus unseren Erfahrungen ein recht positives Zwischenfazit zu ziehen war, schloss der Vortrag mit einer kurzen Diskussion von Problemfeldern, denen wir uns in der Zukunft noch intensiver zuwenden möchten. Alles in allem aber – so auch das Feedback, das wir nach dem Vortrag bekommen haben – sind wir auf dem richtigen Weg!

Is the Crowd wise enough to predict the Election Results for the German “Bundestag”?

Together with our dear colleague Thomas Donath from Nordlight Research I had the opportunity to present a study we conducted to find out, if a wisdom of crowds-approach to election prognosis could potentially compete with or even outperform traditional methods for election research.

With this short blog-entry I`d like to give you a short summary on the speech. Hope you enjoy it and of course your comments are welcome!

“The Wisdom of Crowds”, a book written by James Surowiecki in 2004 about the aggregation of information in groups, claims the many to be smarter than the few. According to Surowiecki, four key criteria have to be met to enable a large group (crowd) to make accurate predictions and the right decisions in terms of reaching common goals.

1) Diversity of opinion: a wide range of points of view in the group
2) Independence of opinion: individuals making guesses do not influence each other
3) Decentralization: local and specialised knowledge
4) Aggregation: a mechanism to reach a collective guess or decision

The goal of this study was to obtain a first indication on whether a “wisdom of crowds” approach to election prognosis could potentially compete with or even outperform traditional means of prognosis.

Methods & Data
We asked 2,323 Germans, registered in an online-access-panel, to predict the official outcome of the German “Bundestagswahl 2009” one week in advance. There were three major differences to surveys executed by institutes like “Forschungsgruppe Wahlen” or “Infratest dimap”. Firstly, the sample was not representative. Secondly, no weighting of raw data was employed. Thirdly and most importantly, participants were asked to give their own prognosis for all major parties rather than state which party they would vote for the following Sunday.

Results
The main outcome of the study is that – in this single trial – the wisdom of crowds approach yielded a slightly less precise prognosis compared to results of traditional surveys just before the election (sum of absolute difference in percentage points: 10.3 for Wisdom of Crowds vs. 8.4 for e.g. Forschungsgruppe Wahlen and Infratest dimap).
However the precision of the wisdom of crowds approach is still high enough to justify further interest.
Also, a large number of moderator variables such as interest in politics, gender, age, or the knowledge of other prognoses correlate with individual forecast performance.

Based on these results, we shed additional light on the idea of the wisdom of crowds – a method which may be an interesting methodological addition to various research purposes which require prognosis. You might find our charts here:

For more information on this case-study and on our findings, please don’t hesitate to contact either Thomas (thomas.donath [at] nordlight-research.com) or me (ci [at] odc-services.com), or simply use the comment-function!

Save The Dates – Here’s where you can meet ODC Services in the first half of 2010!

March, 5th: Panel Research revisited – AIMRI Meeting, Rome: Our international Sales Manager and native Italian, Silvia Fracchia, flys to Rome to attend this years AIMRI Meeting on Panel Research.

March, 8th-9th: Mobile Research Conference, London: Our dear colleague and Director of Panel Management Christoph Bender joins this years Mobile Research Conference in London to learn and share insights and latest developments in Mobile Research!

May, 26th-28th: GOR Conference 2010, Pforzheim: Steffi Preiß, Florian Tress and Christoph Irmer will have a nice car-ride to Pforzheim in May to attend this years GOR conference. Next to a lot of interest in exchaning views and thoughts on Online Research, they will bring 2 speeches:

Are well-selected panelists better respondents? Insights into the effect of a master screener on panel performance and data quality
Thursday, May 27th, 12pm

Is the Crowd wise enough to predict the Election Results for the German “Bundestag”? – Friday, May 28th, 2.15pm – together with Thomas Donath, Managing Director of Nordlight Research.

June, 16th-17th: BVM Kongress, Bonn: We’ve still not decided who will attend this year’s BVM-Congress in Bonn but one thing’s for sure: We will definitely be there! Stay tuned for further news ;-)