gwup | die skeptiker

… denken kritisch seit 1987.

Erik Lemkes Gastbeitrag für das INH: „Publication Bias in Homöopathie-Studien – Wie das HRI die Analyse von Gartlehner et al. verzerrt“

| Keine Kommentare

Erik Lemke, einigen möglicherweise bekannt durch seinem Film Homöopathie unwiderlegt, hat für den INH einen Gastbeitrag verfasst. Darin zeigt er, wie die homöopathische Szene – in diesem Fall das Homeopathy Research Institute (HRI) – die Aussagen einer wissenschaftlichen Untersuchung von Gartlehner et al. bearbeitete und in der Szene eine verzerrte Wahrnehmung entstehen ließ.

Erik Lemke fasst die Vorgeschichte zusammen:

2022 zeigte eine vielbeachtete Analyse von Gerald Gartlehner et al. (Donau-Universität Krems, Österreich) im British Medical Journal (The BMJ) deutliche Verzerrungen bei homöopathischen Studien. Die Arbeit untersuchte, wie viele Studien seit 2002 registriert und publiziert und ob die Hauptziele (der zentrale Untersuchungsgegenstand, main outcome) nachträglich verändert wurden – und fand erhebliche Defizite bei wissenschaftlichen und ethischen Standards. Rund 38 % der registrierten Studien wurden nie publiziert, rund 50 % waren gar nicht registriert, und unregistrierte Arbeiten berichteten deutlich höhere Effekte – ein klares Zeichen für Reporting-Bias.

Anstatt die Kritik ernst zu nehmen, versuchte das HRI die Ergebnisse herunterzuspielen. Dessen

Argumente waren jedoch wenig überzeugend, teils sogar irreführend, sodass sie außerhalb der homöopathischen Echokammer kaum Resonanz fanden.

Lemke erkennt bei der Strategie des HRI ein gewisses Muster, das sich in 3 Phasen unterteilen lässt:

  1. Bereits einen Tag nach der Veröffentlichung lieferte das HRI einen Kommentar mit vorformulierten Argumentationshilfen.
  2. Innerhalb einer Woche tauchten diese Argumente – teils nahezu identisch, teils ergänzt – in Rapid Responses auf der Website von The BMJ auf, unterzeichnet von Autoren aus der Homöopathie-Szene.
  3. In einer dritten Phase nutzten homöopathische Fachverbände sowohl den HRI-Kommentar als auch die Rapid Responses als Grundlage für eigene Artikel. Für deren Leserschaft war die Kernaussage der Gartlehner-Analyse kaum mehr erkennbar, da sie nur am Rande erwähnt und der Fokus ganz auf die Behauptungen des HRI verschoben wurde.

Und wie argumentiert das HRI dabei auf inhaltlicher Ebene?

Erik Lemke geht auf mehrere Aspekte ein. Einer soll hier kurz zitiert werden:

Um die potenziellen Auswirkungen durch den Publication Bias zu veranschaulichen, werteten Gartlehner et al. eine von Homöopathen oft zitierte Meta-Analyse von Mathie et al. (2017) erneut aus. Berücksichtigt man darin nur registrierte Studien, verschwindet der scheinbar signifikante Vorteil der Homöopathie gegenüber Placebo.

Daraus folgern Gartlehner et al.:

Dies beeinträchtigt wahrscheinlich die Aussagekraft der in der homöopathischen Literatur enthaltenen Belege und kann zu einer Überschätzung der tatsächlichen Behandlungswirkung homöopathischer Mittel führen.

Anstatt das nun zu adressieren, verschiebt das HRI den Torpfosten. Sie schreiben:

Der Unterschied in den Effektgrößen zwischen registrierten und nicht registrierten Studien erreichte keine statistische Signifikanz.

Aber Lemke erkennt:

Dieser Satz bezieht sich lediglich auf eine Meta-Regression – eine Zusatzanalyse, die untersucht, ob andere Faktoren (z. B. Studiendesign oder Stichprobengröße) den beobachteten Unterschied erklären könnten. Am Hauptbefund – dass registrierte und nicht registrierte Studien sich signifikant in ihren Effektgrößen unterscheiden – ändert dies nichts.

Am Ende kommt Erik Lemke zum Ergebnis:

Während bei konventionellen Arzneien ein Sicherheitsnetz aus verpflichtender Datenoffenlegung existiert, fällt dieses bei homöopathischen Mitteln weg.

Ohne ein institutionelles Korrektiv wiegen selektive Berichte, geschönte Endpunkte und unveröffentlichte Studien deutlich schwerer.

Hier ist der ganze Beitrag!

Zum Thema:

  • Artikel: Video von Werner Bartens: „Homöopathie – miese Tricks, schlechte Studien“, GWUP-Blog vom 17.03.2022
  • Artikel: Studie: „Erschreckend schlechte wissenschaftliche Standards in der Homöopathie-Forschung“, GWUP-Blog vom 16.03.2022
  • Artikel: „Homöopathie unwiderlegt?“ Ein neuer Dokumentarfilm im Kino, GWUP-Blog vom 26.01.2022

Hinweis:

  • Falls ihr Ideen, Anregungen oder Empfehlungen habt bzw. selbst ein Gastkapitel für den GWUP-Blog schreiben möchtet, kontaktiert uns unter: blog@gwup.org.
  • Wenn ihr noch nicht im Skeptischen Netzwerk angemeldet seid, möchten wir euch herzlich dazu einladen. Dort finden GWUP-Mitglieder und Interessierte eine Plattform für Diskussionen und Austausch rund um skeptische Themen:

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.