gwup | die skeptiker

… denken kritisch seit 1987.

GWUP-Konferenz: Statistricks

| 5 Kommentare

Und weiter geht’s mit dem Programm der 21. GWUP-Konferenz in Wien.

Prof. Ulrich Berger, Vorsitzender der gastgebenden „Gesellschaft für kritisches Denken“, Mathematiker/Wirtschaftswissenschaftler und Science-Blogger, spricht zur Minute über „Die Zahlenspiele der Parawissenschaftler“.

Im Abstract heißt es:

Wissenschaftler gebrauchen Statistik, um Daten zu analysieren. Parawissenschaftler dagegen missbrauchen Statistik, um die gewünschten Resultate aus den Daten zu quetschen.“

Trotz des eher trockenen Themas zu früher Stunde kündigt Berger einen „unterhaltsamen“ Vortrag an. Klingt gut.

Zunächst stellt Berger die „Placebo-Industrie“ vor – jenen Teil unserer Volkswirtschaft, der unwirksame Produkte zu vermarkten trachtet und mit diesem Schrott im besten Fall Placebo-Effekt geriert. Als Beispiele zeigt der Referent Wasserbelebungsgeräte, Globuli, Power-Balance-Armbänder, Strahlen-Abschirmgeräte, Bioakkumulatoren und einigen teuren Unsinn mehr.

Wie kommt es, dass solcherlei „Voodoo-Technik“ sich überhaupt am Markt halten kann, obwohl sie offenkundig gar nicht wirken kann?

Weil es „Studien“ dazu gibt!

Berger erklärt die Vorgehensweise von Pseudo-Statistikern an einem pittoresken „Quantenhufeisen“ mit „speziell eingeprägten Quanteninformationen“.

Dass dieses Teil Glück bringt, sei „wissenschaftlich bewiesen“ – und das geht so:

Man suche sich (oder besser: gründe selbst) ein „Institut“ (keine geschützte Bezeichnung übrigens), zum Beispiel das „Internationale Institut für Glücksforschung und Statistik“.

Als nächstes benötigt dieses Institut nun Daten der Hufeisenträger, exemplarisch misst man etwa den „individuellen Glücksindex“ von Testpersonen, die das Hufeisen bei sich tragen.

Über „Mittelwerte“, „Konfidenzintervalle“ etc. pp. gelangt ein geschickter Statistiker zu „Signifikanzen“, wie Berger anhand von einigen Folien nun vorführt.

Der erste Statistiktrick des Hufeisenanbieters: Er bittet seine Kunden, Anekdoten einzuschicken („persönliche Erfahrungen“).

Natürlich werden tendenziell eher zufriedene Kunden auf einen solchen Aufruf reagieren, als unzufriedene.

Solche subjektiven „First Hand“-Berichte schmücken dann die Webseite des Anbieters: „Franz K. aus Kirchdorf schreibt …“.

Der zweite Trick (und dieser führt nun unmittelbar zu den wundersamen „Statistiken“ des Anbieters): eine unkontrollierte Beobachtungsstudie mit subjektivem Endpunkt.

Durch suggestive Befragungstechnik und selektive Wahrnehmung des Kunden, durch die sattsam bekannte „Bestätigungstendenz“ und außerdem den Wunsch, dem netten Studienleiter eine „Gefälligkeit“ zu erweisen, ergibt sich eine „systematische Verzerrung nach oben“ – womit man im Grunde nichts weiter als den eingangs erwähnten „Placebo-Effekt“ gemessen hat.

So komme es dann zu Werbeaussagen wie: „Das Quantenhufeisen steigert Ihr Glück um 38 Prozent.“

Natürlich genüge das aber noch nicht, um auch kritische Konsumenten zu überzeugen. Also wird noch eine zweite Studie aufgelegt, und zwar eine nun unkontrollierte Beobachtungsstudie mit „objektivem“ Endpunkt.

Wieder werden die Käufer des Hufeisens befragt. Und da die Konsumenten das Hufeisen naturgemäß zu einem Zeitpunkt kaufen, da sie wenig Glück haben, ist äußerst wahrscheinlich, dass sich nach zirka einem Monat eine „Regression zu Mitte“ ergibt, mit Kunden-Aussagen wie „Bei mir hat’s gewirkt!“

So lässt sich der „Glücks“-Zuwachs schon auf 64 Prozent steigern.

Der vierte Trick: eine Placebo-kontrollierte Studie mit subjektivem Endpunkt. Die Probanden werden in zwei Gruppen eingeteilt, eine bekommt das Hufeisen mit „Quanteninformationen“ und die andere ohne.

Kleiner Haken: Die Studie ist unverblindet, das heißt, die Kunden wissen genau, ob sie das „echte“ oder das „falsche“ Hufeisen bekommen haben, und durch selektive Wahrnehmung fällt die „Studie“ entsprechend positiv aus.

Trotzdem klingt „Placebo-kontrollierte Studie“ immer gut. „Muss ja keiner wissen, dass sie unverblindet war“, so Berger.

Aber selbst mit einer verblindeten Placebo-kontrollierten Studie kann man den Hufeisen-Glücks-Index belegen, kommt Berger zu „Statistiktrick Nummer 5“.

Wie geht das?

Ganz einfach, der Anbieter gibt verschiedene „Subindizes“ zur Glücksmessung vor, wie zum Beispiel „Auf Bananenschale ausgerutscht sein“ oder „Im Bus noch einen Sitzplatz bekommen haben“. Zu diesen neun sehr speziellen Aspekten wird nun ein Vergleich zwischen den Studiengruppen angestellt.

Und ganz klar: Bei irgendeinem der völlig willkürlich gewählten Indizes wird sich mit großer Sicherheit eine statistische Signifikanz ergeben.

Schon kann der Anbieter mit einer erfolgreichen „doppelblinden, placebokontrollierten Studie“ wedeln.

Aber wenn sich bei den neun Indizes nun ausnahmsweise mal keine Unterschiede finden?

Kein Problem, dann bildet man Subgruppen, etwa nach Männer und Frauen, Sternzeichen, Grünen-Wählern, Linkshändern etc.

Aus diesen insgesamt dann 81 Kombinationsmöglichkeiten filtert man problemlos Behauptungen heraus wie: „Wissenschaftlich bewiesen: Linkshänder haben signifikant mehr Glück dank Quantenhufeisen“.

Ins Extrem treiben kann man das Ganze schließlich noch mit einer Meta-Studie, die nach dem Motto „Die Guten ins Töpfchen, die Schlechten ins Kröpfchen“ betrieben wird. Heißt: Unliebsame, negative Studien lässt man draußen.

Daraus ergibt sich: ein Publikations-Bias, und bei genügend eingeschlossenen Studien wird das Ergebnis sehr schnell signifikant.

Kein Wunder, dass zum Beispiel „Homöopathen bloß immer eine einzige, bestimmte Meta-Studie zitieren“, schließt Berger – nämlich eine, die auf eben diese Weise zustande gekommen sei.

5 Kommentare

  1. Großartig!
    Irgendwie muss ich immer an „Ernährungsberater“ denken, die scheinen ähnlich zu arbeiten.

  2. @Eoterikallergiker
    Da könne sie auch getrost auch an Versicherungsvertreter, Autoverkäüfer und was sonst so der Markt zubieten hat denken.

    @all
    Solcherlei Tricks werden doch überall angewendet um Konsumgüter, Unterhaltung, Medikamente, politische Interessen und sonstiges Zeugs, welches der Mensch nicht braucht, an den Mann, die Frau und das Kind zu bringen.

    Schauen sie (ja, sie als Leser) doch bitte, wenn sie heute Abend nach Hause kommen, ganz bedächtig durch ihre Wohnung. Schauen sie sich alles an was sie da haben, was letztlich alles zu Müll wird und entsorgt werden muss ohne, dass sie es wirklich gebraucht haben. Das haben sie sich alles aufschwatzen lassen.

  3. @Ronald:
    Bitte schreiben Sie mir (ja, mir als Leser) nicht vor, wie es in meiner Wohnung auszusehen hat!

    Und bevor Sie hier versuchen andere von oben herab zu belehren, sollten Sie erst einmal versuchen zu definieren, was unter „wirklich gebraucht“ zu verstehen ist.
    Brauchen Sie wirklich das Internet? Nein? Aber offensichtlich haben Sie sich entsprechende Produkte „aufschwatzen“ lassen, wie sonst könnten Sie hier posten? Und Sie – ausgerechnet Sie – wollen Ihre Mitmenschen hier belehren?

  4. @007:
    Natürlich bin ich nicht befugt ihnen etwas vorzuschreiben und sie sind auch nicht in der Situation meinen Vorschriften Folge zu leisten. Ich denke das ist klar und ich habe nichts in dieser Richtung zum Ausdruck gebracht. Auch versuche ich nicht und auch nicht von oben herab zu belehren. Tut mir leid, das sind alles nur ihre Interpretationen. Ich wollte einfach meinen Senf dazu beitragen um Anregung zu bieten für neue Gedanken weil wir alle in der selben Welt leben.

    Definitionesversuch:
    Nicht wirklich gebraucht wird etwa Parfüm. Wirklich gebraucht wird etwa Essen zum Sattwerden. Und so weiter. Das sind so Grunddinge und dann hat natürlich jeder seine Individuellen Dinge die er wirklich benötigt. Der Schreiner seinen Hobel etwa um damit Dinge zu erschaffen die ein anderer wirklich benötigt und wofür er dann Dinge bekommt die er wirklich benötigt, wie etwa etwas zum Essen. Der Einzelne kann für sich selber entscheiden ob er eine vergoldete Irgendetwas braucht oder ob er solche Dinge braucht um sich einfach bessser zu fühlen, wie eben so mancher Esoteriker mit seiner Erdmagnetfeder auf dem Kopf. Oder kann er das vielleicht doch nicht, weil er mit sehr viel Wissen vollgetopft ist wie eben auch die Esos? Wenn ich eine Krawatte von … trage dann werde ich ein besserer Mensch sein und wenn ich eine von … trage dann werde ich der letzte Husten sein. Diesen esoterischen Grundgedanken haben doch die meisten in unserer Zivilisation.
    Ums genauestens zu definieren müsste ich jetzt noch sehr viele Stunden schreiben.

    Ich habe natürlich, denn ich bin in diese Welt hineingeboren, auch noch so einen Müllberg Zuhause, den ich seit langer Zeit schon abtrage. Das Netz brauche ich zur Zeit leider wirklich noch. Soviel zu mir. Hoffe geholfen zu haben.

  5. @Ronald:
    <<Ums genauestens zu definieren müsste ich jetzt noch sehr viele Stunden schreiben.<<

    Eben … und selbst dann wird das Ergebnis niemals allgemeingültig sein.

    Der Punkt ist:
    Was könnte unnützer sein als ein Produkt, dass das was es verspricht nicht halten? Selbstverständlich kommt so etwas auch bei den "ganz normalen" Konsumgütern vor, bei Eso-Produkten ist das jedoch der Normalfall und oft genug wird dort aus "unnütz" sogar "schädlich". Ein Fernseher dessen Bild nicht so gut ist wie ich es erwartet hatte, ist daher weniger ein Problem als Kristalle von denen ich mir eine heilende Wirkung verspreche, die nie eintritt, mich aber davon abhält rechtzeitig zum Arzt zu gehen.

    Deshalb ist der Umstand, dass bei anderen Produkten mit ähnlichen Methoden gearbeitet wird keine Rechtfertigung für Eso-Abzocke.

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.