Das Bonmot von den „weichen Endpunkten“ bei Durchfallstudien war gewiss einer der humorigen Höhepunkte der SkepKon 2014 – gehört beim Vortrag von Dr. Norbert Aust.
Der Ingenieur und Blogger von Beweisaufnahme in Sachen Homöopathie referierte zum Thema
Mangelnde interne Validität als Grundlage erfolgreicher Wirkungsnachweise zur Homöopathie“
und besprach dabei auch die Arbeit „Treatment of Acute Childhood Diarrhea With Homeopathic Medicine“.
Aber gehen wir der Reihe nach.
Bekanntlich ist der Streit darüber, ob es sich bei der Homöopathie um eine wirksame Therapieform handelt oder nicht, so alt wie die Homöopathie selbst.
Inzwischen liegen (Stand 2013) 188 placebokontrollierte randomisierte Vergleichsstudien (PCT) vor, die zu einem recht hohen Anteil zu positiven Ergebnissen kommen, mit 82 jedenfalls deutlich mehr, als aufgrund der Wahrscheinlichkeit falsch positiver Resultate zu erwarten wäre.
Homöopathie-Kritiker erklären dies mit einer schlechten Studienqualität – auch wegen der Tatsache, dass die Grundprinzipien der Homöopathie den bekannten Naturgesetzen widersprechen.
Aber was sind eigentlich die Kriterien für die Qualität von klinischen Studien?
Üblicherweise erfolgt die Bewertung anhand der Punkte
- Randomisierung ( Ist die Gruppeneinteilung nach einem Zufallsprinzip erfolgt und war das dazu verwendete Verfahren angemessen, also z.B. die Reihenfolge sicher nicht zu erraten?)
- Verblindung (Sind die Patienten und das sie behandelnde Personal in Unkenntnis der Gruppeneinteilung und ist das Verfahren geeignet, diese Verblindung auch während der Studiendauer aufrechtzuerhalten?)
- Intent to treat (Bezieht sich das Studienergebnis auf alle Probanden, also auch auf diejenigen Patienten, die die Studie nicht beendet haben?)
Weitere wichtige Kriterien, wie sie in anderen Fachgebieten zwingend gefordert werden, spielen überhaupt keine Rolle, etwa die Datenermittlung, die Auswertung und die Schlussfolgerungen daraus.
Fehlschlüsse und die Überbewertung der Ergebnisse sind daher eher die Regel als die Ausnahme“,
erklärte Aust.
Seiner Überzeugung nach sind die genannten drei Qualitätskriterien nicht ausreichend, um ein unplausibles Heilverfahren wie Homöopathie zu bewerten.
Die spannende Frage des SkepKon-Referenten:
Wie würden sich klinische Studien und Metaanalysen in der Homöopathie darstellen, legte man erweiterte Qualitätsforderungen an, wie sie zum Beispiel für die Entwicklung von Medizinprodukten gelten?
Exemplarisch nahm Aust die letzte große Metaanalyse zur Homöopathie unter die Lupe, die Arbeit von Shang und Kollegen aus dem Jahr 2005 (ergänzende Daten dazu finden sich hier).
Das Thema der Arbeit war ein Vergleich von konventioneller Therapie und Homöopathie. Insgesamt untersuchten Shang et al. 110 Homöopathiestudien, die bis 2003 veröffentlicht worden waren.
Die Arbeitsgruppe sah 21 Studien als von hoher Qualität an – davon bescheinigten 13 Studien der Homöopathie eine Wirksamkeit, acht Studien gingen negativ aus. Damit erzielten die homöopathischen Arzneimittel in der Metaanalyse ein signifikant positives Ergebnis.
Danach indes führten die Forscher ein zusätzliches Kriterium ein, um weitere Studien auszuschließen, nämlich die Probandenzahl (> 98). Somit blieben insgesamt nur noch acht Studien übrig, von denen fünf für die Homöopathie sprachen und drei dagegen.
Das bedeutete zwar immer noch einen Überhang positiver Homöopathie-Studien, der allerdings nicht mehr statistisch signifikant war, weshalb der Lancet 2005 „Das Ende der Homöopathie“ ausrief.
Seitens der Homöopathen wird die Metaanalyse Aijin Shangs von der Universität Bern natürlich heftig kritisiert, zuletzt von Robert G. Hahn, Professor für Anästhesie und Intensivmedizin an der Universität Linköping.
Dafür hat Aust durchaus ein gewisses Verständnis, denn:
- Offenbar wurde die Grenze für die Studiengröße willkürlich post hoc festgesetzt, jedenfalls gibt es keine sinnvolle Begründung für eine Festlegung von 98 Probanden als Grenzwert.
- Die hohe Zahl der Teilnehmer ist kein zuverlässiges Qualitätskriterium, denn für den Nachweis starke Effekte reicht eine niedrige Teilnehmerzahl aus.
Die Problematik liege allerdings nicht darin, dass Studien ausgeschlossen wurden – sondern dass hierfür die falschen Kriterien Anwendung fanden.
Bei der SkepKon schlug Aust einen neuen Ansatz zur Bewertung einer klinischen Studie mit folgenden Schritten vor:
- Aufstellung der Hypothese: Was soll nachgewiesen werden?
- Festlegen des Testkriteriums: Anhand welcher Kennwerte kann man entscheiden?
- Studiendesign: Mit welchen Methoden kann man die Kennwerte ermitteln?
- Durchführung nach Versuchsplan,
- darin Erfassung der Messwerte
- Datenauswertung
- Signifikanztest: Wurde vielleicht nur ein Zufallsergebnis erzeugt?
- Relevanz: wird leider meist nicht betrachtet: Wie groß ist der tatsächliche therapeutische Nutzen für den Patienten?
- Diskussion: Ist das Ergebnis belastbar?
- Schlussfolgerung aus den Ergebnissen: Wurde die Thesebestätigt?
- (Replizierung).
Und um auf die Einleitung zurückzukommen:
Diese Vorgehensweise legte Aust beispielhaft anhand der Diarrhö-Studie von Jacobs et al. dar, einer der Studien aus der Shang-Analyse.
Bei Punkt 2 („Sind die Testkriterien geeignet, um die Ausgangsthese der Autoren zu entscheiden?“) kritisierte der Ingenieur und Blogger den „weichen Endpunkt“ der Studie, nämlich die Dauer der Durchfallerkrankung mit dem Endpunkt „Weniger als drei Ereignisse am Tag“.
Aust:
Die Beschwerden sind dann bei weitem noch nicht ausgeheilt.“
Was aber käme nun dabei heraus, wenn man die ursprünglich 13 positiven Studien der Shang-Metaanalyse nach diesen erweiterten Qualitätskriterien beurteilen würde?
Bliebe es auch dann bei dem signifikant positiven Ergebnis für die Homöopathie?
Mitnichten, erklärte Aust.
Allenfalls bei zweien der 13 positiven Studien könne die interne Validität nicht widerlegt werden.
Eine davon (Lepaisant 1995) lag Aust nicht im Originaltext vor, sodass der Inhalt nicht geprüft werden konnte. Einzelheiten hierzu kann man den Vortragsfolien entnehmen:
Prinzipiell zeigt sich, dass nach Anwendung der Kriterien der internen Validität ein Prozentsatz von falsch positiven Studienergebnissen verbleibt, der gut mit der Erwartung einer 5-prozentigen Wahrscheinlichkeit in Deckung zu bringen ist.“
Der SkepKon-Referent schlussfolgerte, dass die meisten der bis 2003 veröffentlichten PCTs von hoher Qualität und mit positivem Ergebnis einer Überprüfung der internen Validität wohl nicht standhalten:
Es ist allerdings etwas zu früh, dies als Endergebnis anzusehen. Die Autoren hatten sieben Homöopathie-Studien nicht betrachtet, weil man für sie keine Studien zu vergleichbaren konventionellen Therapien fand. Zudem erklären die Kritiker der Metaanalyse, dass vier weitere Studien in früheren Metaanalysen anderer Autoren als hochwertig eingestuft wurden.
Erst nach einer Betrachtung dieser 11 Studien wird ein zwischen Befürwortern und Kritikern offenbar unstreitiges Ergebnis vorliegen. Die eingangs zitierten Angaben zur Zahl der erfolgreichen Studien bedürfen aber auf jeden Fall der Korrektur.“
Die Betrachtung der internen Validität scheint geeignet zu sein, mit objektivierbaren Kriterien falsch positive Ergebnisse auszuschließen – und um „handfeste und nicht so einfach angreifbare Argumente“ zu bekommen, warum man diese oder jene Studie nicht in eine Metaanalyse mit einbezieht.
Richtlinien für ein valides internes Studiendesign bedürfen der weiteren Ausarbeitung.
Den Vortrag gibt es hier auch als Video.
Zum Weiterlesen:
- Metaanalysen in der Homöopathie, Beweisaufnahme in Sachen Homöopathie am 3. Februar 2014
- Homöopathen im Siegesrausch – Durchfall, dieausrufer am 1. Oktober 2011
- The Clinical Evidence for Homeopathy, NeuroLogica-Blog am 2. Juni 2014
- Heel zieht sich aus USA und Kanada zurück, edzardernst am 30. Mai 2014
- Neue Evidenz für Homöopathie? Wer lesen kann, ist klar im Vorteil! Kritisch gedacht am 10. Dezember 2008
- 1835 schrieb Nürnberg Medizingeschichte, Nürnberger Zeitung am 4. Oktober 2010
- Homöopathie, Scientabilität, Frollein Doktor und die Belege, GWUP-Blog am 15. Januar 2014
- Das zähe Ende der Homöopathie, Tagesspiegel am 14. Juli 2010
- Homöopathie-Studium: Master of Verdünnung, DocCheck News am 10. Juni 2014
- Betrachtungen zur Metaanalyse von Shang et al., Beweisaufnahme in Sachen Homöopathie am 14. Juni 2014
10. Juni 2014 um 16:50
Das Problem bei einer Homöopathie-Studie ist, daß man zwei Placebo-Gruppen hat :-)
10. Juni 2014 um 18:03
Das Problem ist doch:
Die Studienlage kann noch so schlecht für die Homöopathie sein, an den herrschenden Verhältnissen wird sich so schnell nichts ändern. Weder werden die HP-Anhänger unter Ärzten(*) und Heilpraktikern ihre Meinung ändern, noch der Grossteil der Patienten. Weil Anekdoten und „persönliche Erfahrungen“ für viele immer noch stärker wiegen, als wissenschaftlich gesicherte Erkenntnisse.
Die Krankenkassen werden die Glaubuli weiter bezahlen – weil es für sie weiterhin ein gutes Geschäftsmodell ist, um junge und gesunde Versicherte zu gewinnen bzw. zu halten. Die Politik wird – dank guter Lobbyarbeit – weiterhin der HP ihren Sonderstatus lassen.
Ich kann zwar immer wieder mal einzelne Patienten in meiner Praxis vom Unsinn der HP überzeugen. Aber an der Gesamtsituation werde ich nichts ändern können. Auch nicht im Verbund mit anderen kritischen Ärzten.
Das ist ziemlich frustrierend!
(*) Mein Praxisvorgänger hat – so nebenbei und hobbymässig – in seiner Praxis auch immer wieder Homöopathika abgegeben – mehrheitlich Niederpotenzen. (**) Vor einiger Zeit habe ich ihm mal die aktuelle Studienlage zur HP präsentiert. Seine Reaktion war: „Aber bei mir hat es trotzdem funktioniert.“ Solange selbst Akademiker, die es von Studiums wegen eigentlich besser wissen müssten, solchen Denkstrukturen anhängen (und damit im Prinzip beweisen, dass sie ihr Diplom eigentlich nicht verdient haben), kann sich in unserer Gesellschaft nichts verändern.
Ähnliche Reaktionen habe ich übrigens auch mehrfach im Gespräch mit Apothekern erlebt.
(**) Vor ca. 2 Jahren hatte ich mal eine Diskussion mit einer Patientin, die von meinem Praxisvorgänger seit vielen Jahren immer wieder Rezepte für Kügelchen bekommen hatte und dies nun auch von mir verlangte (wegen der Erstattung durch die Krankenkasse). Ich habe seinerzeit folgendermassen argumentiert:
Ergebnis: die Patientin hat sich nur wenige Tage später einen neuen Hausarzt gesucht (der ihr selbstverständlich alle Glaubuli nach Wunsch rezeptiert hat).
Skeptiker zu sein ist im Alltag eines Hausarztes manchmal wirklich eine Herausforderung.
10. Juni 2014 um 21:15
@Ralf
Genau so ist es. Wenn man zwei identische Gruppen miteinander vergleicht, wird das Ergebnis allein durch unvermeidbare systematische und zufällige Fehler bestimmt. Man würde also in den meisten Fällen keinen Unterschied erwarten, in einigen aber einen Vorteil für die eine, in anderen einen Vorteil für die andere Gruppe – also genau das, was man tatsächlich findet.
10. Juni 2014 um 21:54
@nota.bene
Das ist wiederum das Problem, denn dann bedarf es wieder einer Interpretation der Datenlage und diese wird – je nach Couleur -gewichtet.
Wenn man die Homöopathie beweisen will, so wird man in diesen „Placebo“-Studien Beweise finden, genauso wie die „Skeptiker“ dagegen.
Für den „Otto-Normal-Kranken“ ist das aber nicht zu durchschauen, besonders wenn die „Medikamente“ von Ärzten „verschrieben“ werden und diese einer Apothekenpflichtig unterworfen sind.
In diesem Kontext werden Kritiker häufig als „Pharmasöldner“ gesehen…denn der „Otto-Normal-Kranke“ sehnt sich nach einer sanften (Wunder)Medizin.
11. Juni 2014 um 08:03
Da fällt mir das schöne Wort säkulare Apotheke ein
https://blog.gwup.net/2014/06/09/skeptiker-kampagne-in-den-usa-gestartet-keep-health-care-safe-and-secular
11. Juni 2014 um 11:39
Lieber noch’n Flo, Du bist Arzt? Kannst Du mir helfen, meine Spaghettimosterglobuli zu promoten?
http://fsmosophica.wordpress.com/2014/06/04/die-fsmopathie
Ich verspreche Euch, dass man meine Globuli _nicht_ von hochpotenten Homöopathika unterscheiden kann!
Wir müssen
1) in Studien zeigen, dass meine Glaubuli genausogut wie Herkömmliche sind
2) Politiker anquatschen, um den Binnenkonseens f.d. FSMoPathie zu erweitern: Anthro, Homöo, Phyto, und auch FSMo!
Danke & Ramen:)
@Ralf: Genau so ist es. Wenn man zwei identische Gruppen miteinander vergleicht, wird das Ergebnis allein durch unvermeidbare systematische und zufällige Fehler bestimmt. Man würde also in den meisten Fällen keinen Unterschied erwarten, in einigen aber einen Vorteil für die eine, in anderen einen Vorteil für die andere Gruppe – also genau das, was man tatsächlich findet.
Ja, es stimmt, dass man FSMoPathika und Homöopathika nicht wirklich gut mit dem Goldstandard untersuchen kann. Man soll es auch gar nicht versuchen [Szientabilität]. Jedoch beanspruche ich die gleiche Aufmerksamkeit von Wissenschaft & Politik, wie die H. auch bekommt.
Und ich glaube, dass man mit einer großen Studie evtl. Fehlalarme eingrenzen kann. Und es wäre eine schöne Sache, wenn jemand sich die Mühe machen würde, meine FSMGlobuli im Felde zu testen. Ich kann Euch dabei helfen! :)
11. Juni 2014 um 12:16
@noch’n Flo:
Sie sollten stolz darauf sein, den Patienten Globuli zu verweigern und sich damit brüsten. Ich wär lieber der Stattbekannte anti Homöopathie-Arzt, als das Gegenteil :)
Sollte ich feststellen, daß mein Hausarzt Globuli verabreicht, dann wäre mein Vertrauen in ihn vollkommen zerstört und ich würde mir einen echten Arzt suchen.
11. Juni 2014 um 13:07
@ Mr. MIR:
rAmen, Bruder!
Was genau soll denn die Potenzierung seiner Nudeligkeit bewirken?
@ SonnenKlar:
In der Stadt mag das als Geschäftsmodell durchaus taugen, ich sitze hier jedoch in einem kleinen Dorf, wo die Leute noch regelmässig zum Heiler gehen und sich regelmässig ätzende Pferdesalbe auf die Gelenke schmieren. Da muss man den Ball auch mal flach halten können.
12. Juni 2014 um 12:38
@ noch’n Flo!
Ramen, nicht das FSM wird potenziert. Es wird eigentlich garnix potenziert. Ich habe nur eine Methode erfunden, die die Urtinkturen der Homöopathen auf eine alternative Art und Weise in den Informationsträger Zucker hineinspeichern kann.
Die Methode ist: Aufsprechen der Urtinktur-Heilinformationen. Er können aus alternativspirituellen Gründen nur folgende charakteristischen Potenzen hergestellt werden: C23, C42, C64, C92, C128, C666. Und ich gehe jede Wette ein, dass meine Alternativglobuli von Herkömmlichen weder in Zusammensetzung noch in Wirkung unterscheidbar sind.
Ramen:)
PS: Wer will mit MIR eine doppelblinde Arzneimittelprüfung durchführen? zB Homöopathikum Sulphur C23 gegen FSMoPathikum Sulphur C23!
17. Juni 2014 um 22:52
Es sollte endlich untersucht werden, wie vielen Menschen das Nicht-Verabreichen schulmedizinischer Präparate geholfen hat.
Klar muss der allwissende Arzt eine Diagnose stellen, klar muss er helfen können. Was, wenn er es nicht kann, weil er keine Ahnung hat was denn nun genau los ist.
Wenn er nun noch weiss, dass solche Symptome meistens von selber verschwinden, auch wenn man nicht weiss, wieso, dann ist das amtliche Verschreiben einer Zuckerpille besser als das Bekämpfen von Symptomen unbekannter Herkunft mit Mitteln, die problematisch werden können, weil sie wirksam sind.
Denn wenn die Ursache der Unwohlheit nicht klar ist, dann kann über unerwünschte Nebenwirkungen nur spekuliert werden.
Napoleon sagte: „Wenn Du im Zweifel bist, dann mache garnichts!“
7. Juli 2014 um 21:55
Das Video des Vortrags ist jetzt online: https://www.youtube.com/watch?v=Wsn2vaWCFHo