Und weiter geht’s mit dem Programm der 21. GWUP-Konferenz in Wien.

Prof. Ulrich Berger, Vorsitzender der gastgebenden „Gesellschaft für kritisches Denken“, Mathematiker/Wirtschaftswissenschaftler und Science-Blogger, spricht zur Minute über „Die Zahlenspiele der Parawissenschaftler“.

Im Abstract heißt es:

Wissenschaftler gebrauchen Statistik, um Daten zu analysieren. Parawissenschaftler dagegen missbrauchen Statistik, um die gewünschten Resultate aus den Daten zu quetschen.“

Trotz des eher trockenen Themas zu früher Stunde kündigt Berger einen „unterhaltsamen“ Vortrag an. Klingt gut.

Zunächst stellt Berger die „Placebo-Industrie“ vor – jenen Teil unserer Volkswirtschaft, der unwirksame Produkte zu vermarkten trachtet und mit diesem Schrott im besten Fall Placebo-Effekt geriert. Als Beispiele zeigt der Referent Wasserbelebungsgeräte, Globuli, Power-Balance-Armbänder, Strahlen-Abschirmgeräte, Bioakkumulatoren und einigen teuren Unsinn mehr.

Wie kommt es, dass solcherlei „Voodoo-Technik“ sich überhaupt am Markt halten kann, obwohl sie offenkundig gar nicht wirken kann?

Weil es „Studien“ dazu gibt!

Berger erklärt die Vorgehensweise von Pseudo-Statistikern an einem pittoresken „Quantenhufeisen“ mit „speziell eingeprägten Quanteninformationen“.

Dass dieses Teil Glück bringt, sei „wissenschaftlich bewiesen“ – und das geht so:

Man suche sich (oder besser: gründe selbst) ein „Institut“ (keine geschützte Bezeichnung übrigens), zum Beispiel das „Internationale Institut für Glücksforschung und Statistik“.

Als nächstes benötigt dieses Institut nun Daten der Hufeisenträger, exemplarisch misst man etwa den „individuellen Glücksindex“ von Testpersonen, die das Hufeisen bei sich tragen.

Über „Mittelwerte“, „Konfidenzintervalle“ etc. pp. gelangt ein geschickter Statistiker zu „Signifikanzen“, wie Berger anhand von einigen Folien nun vorführt.

Der erste Statistiktrick des Hufeisenanbieters: Er bittet seine Kunden, Anekdoten einzuschicken („persönliche Erfahrungen“).

Natürlich werden tendenziell eher zufriedene Kunden auf einen solchen Aufruf reagieren, als unzufriedene.

Solche subjektiven „First Hand“-Berichte schmücken dann die Webseite des Anbieters: „Franz K. aus Kirchdorf schreibt …“.

Der zweite Trick (und dieser führt nun unmittelbar zu den wundersamen „Statistiken“ des Anbieters): eine unkontrollierte Beobachtungsstudie mit subjektivem Endpunkt.

Durch suggestive Befragungstechnik und selektive Wahrnehmung des Kunden, durch die sattsam bekannte „Bestätigungstendenz“ und außerdem den Wunsch, dem netten Studienleiter eine „Gefälligkeit“ zu erweisen, ergibt sich eine „systematische Verzerrung nach oben“ – womit man im Grunde nichts weiter als den eingangs erwähnten „Placebo-Effekt“ gemessen hat.

So komme es dann zu Werbeaussagen wie: „Das Quantenhufeisen steigert Ihr Glück um 38 Prozent.“

Natürlich genüge das aber noch nicht, um auch kritische Konsumenten zu überzeugen. Also wird noch eine zweite Studie aufgelegt, und zwar eine nun unkontrollierte Beobachtungsstudie mit „objektivem“ Endpunkt.

Wieder werden die Käufer des Hufeisens befragt. Und da die Konsumenten das Hufeisen naturgemäß zu einem Zeitpunkt kaufen, da sie wenig Glück haben, ist äußerst wahrscheinlich, dass sich nach zirka einem Monat eine „Regression zu Mitte“ ergibt, mit Kunden-Aussagen wie „Bei mir hat’s gewirkt!“

So lässt sich der „Glücks“-Zuwachs schon auf 64 Prozent steigern.

Der vierte Trick: eine Placebo-kontrollierte Studie mit subjektivem Endpunkt. Die Probanden werden in zwei Gruppen eingeteilt, eine bekommt das Hufeisen mit „Quanteninformationen“ und die andere ohne.

Kleiner Haken: Die Studie ist unverblindet, das heißt, die Kunden wissen genau, ob sie das „echte“ oder das „falsche“ Hufeisen bekommen haben, und durch selektive Wahrnehmung fällt die „Studie“ entsprechend positiv aus.

Trotzdem klingt „Placebo-kontrollierte Studie“ immer gut. „Muss ja keiner wissen, dass sie unverblindet war“, so Berger.

Aber selbst mit einer verblindeten Placebo-kontrollierten Studie kann man den Hufeisen-Glücks-Index belegen, kommt Berger zu „Statistiktrick Nummer 5“.

Wie geht das?

Ganz einfach, der Anbieter gibt verschiedene „Subindizes“ zur Glücksmessung vor, wie zum Beispiel „Auf Bananenschale ausgerutscht sein“ oder „Im Bus noch einen Sitzplatz bekommen haben“. Zu diesen neun sehr speziellen Aspekten wird nun ein Vergleich zwischen den Studiengruppen angestellt.

Und ganz klar: Bei irgendeinem der völlig willkürlich gewählten Indizes wird sich mit großer Sicherheit eine statistische Signifikanz ergeben.

Schon kann der Anbieter mit einer erfolgreichen „doppelblinden, placebokontrollierten Studie“ wedeln.

Aber wenn sich bei den neun Indizes nun ausnahmsweise mal keine Unterschiede finden?

Kein Problem, dann bildet man Subgruppen, etwa nach Männer und Frauen, Sternzeichen, Grünen-Wählern, Linkshändern etc.

Aus diesen insgesamt dann 81 Kombinationsmöglichkeiten filtert man problemlos Behauptungen heraus wie: „Wissenschaftlich bewiesen: Linkshänder haben signifikant mehr Glück dank Quantenhufeisen“.

Ins Extrem treiben kann man das Ganze schließlich noch mit einer Meta-Studie, die nach dem Motto „Die Guten ins Töpfchen, die Schlechten ins Kröpfchen“ betrieben wird. Heißt: Unliebsame, negative Studien lässt man draußen.

Daraus ergibt sich: ein Publikations-Bias, und bei genügend eingeschlossenen Studien wird das Ergebnis sehr schnell signifikant.

Kein Wunder, dass zum Beispiel „Homöopathen bloß immer eine einzige, bestimmte Meta-Studie zitieren“, schließt Berger – nämlich eine, die auf eben diese Weise zustande gekommen sei.