Die Debatte um die „Scientabilität“ der Homöopathie geht weiter – mit unterschiedlicher Dignität.
Auch die Medizin-Journalistin Annette Bopp hat sich in ihrem Blog FrolleinDoktor dazu geäußert – und demonstriert dabei die fatale Vorliebe der Homöopathie-Fans für einfache Denke und simple Korrelationen.
Auch wenn das „Frollein Doktor“ die Überschrift zu ihrem Beitrag
Homöopathie nicht mehr “scientabel”???
nicht gleich schon mit drei Fragezeichen versehen hätte, die bereits auf den ersten Blick geballte Verständnislosigkeit signalisieren, wäre schnell ersichtlich geworden, dass sie das Scientabilitäts-Konzept nicht so ganz begriffen hat:
Weymayrs Begründung (Zitat aus der FAZ): „Randomisiert-kontrollierte Studien sind zwar das methodisch Beste, was klinische Prüfverfahren zu bieten haben. Sie sind indes fehleranfällig und als Methode nicht davor gefeit, Ergebnisse zu produzieren, die auch dort Wirksamkeit attestieren, wo vielleicht keine ist.“
Oho! Das sind ja ganz neue Töne! Bisher galt die randomisiert-kontrollierte Studie als der „Goldstandard“ unter den Wirksamkeitsnachweisen, Evidenzklasse 1a! Und nun ist das alles plötzlich so „fehleranfällig“, dass man es nicht mehr als Nachweis gelten lassen kann?
Nur weil auch Homöopathika den Test bestanden haben? Sapperlott!“
schreibt sich „Frollein Doktor“ erst mal in Rage, bevor sie ihren ganz eigenen Schluss daraus zieht:
Was für ein durchsichtiges Manöver: Zuerst fordert man Studien nach den Regeln der evidenz-basierten Medizin, vor allem eben randomisiert-kontrollierte Studien. Liegen diese vor, bestreitet man deren Aussagekraft und findet dies und das daran auszusetzen, was die Studienergebnisse insgesamt in Frage stellt.
Funktioniert auch das nicht mehr, streitet man dem Verfahren eben jegliche wissenschaftliche Grundlage ab. So einfach ist das.“
So „einfach“ ist das vielleicht in der Rezeption von Homöopathie-Fans. Aber nicht in der Realität.
Und wenn das Ganze bloß ein „durchsichtiges Manöver“ wäre, wie das „Frollein Doktor“ argwöhnt, hätten wohl kaum renommierte Wissenschaftsredaktionen wie die der FAZ oder der Süddeutschen Zeitung dem Thema breiten Raum und ein Diskussionsforum gegeben.
Mit Diskussionen und Abwägungen hält sich das „Frollein Doktor“ (übrigens eine Diplom-Biologin) indes gar nicht erst auf, sondern feuert sogleich ihre Philippika ab:
Bisher galt die randomisiert-kontrollierte Studie als der „Goldstandard“ unter den Wirksamkeitsnachweisen, Evidenzklasse 1a! Und nun ist das alles plötzlich so „fehleranfällig“, dass man es nicht mehr als Nachweis gelten lassen kann?“
Schon Wikipedia (von echten Fachquellen gar nicht erst zu reden) hätte das „Fräulein Doktor“ darüber in Kenntnis gesetzt, dass ein „Goldstandard“ das „zurzeit allgemein anerkannte Handeln“ bezeichnet und einen „Grundstock“ bildet – und dass es „einiger Anstrengung bedarf, um ihn zu erschüttern“.
That’s all.
Von „perfekt“ oder „vollkommen fehlerlos“ steht da überhaupt nichts.
Auch Randomisierte kontrollierte Studien (RCT) als „Goldstandard“ der Evidenzbasierten Medizin haben ihre Grenzen – darauf hat Dr. Christian Weymayr immer wieder hingewiesen, zum Beispiel im Skeptiker-Interview:
Die Methoden der Evidenzbasierten Medizin – also etwa RCTs – haben definitiv nicht die Macht, Naturgesetze zu bestätigen oder zu widerlegen. Niemand, der sich mit EbM beschäftigt, ist so vermessen zu behaupten, dass es auch nur eine einzige Studie gibt, die frei von Fehlern ist.
Selbst wenn keine Fehlerquellen zu erkennen sind, gibt es den Begriff des „Hidden Bias“, also der verborgenen Verzerrung. Und damit ist eine klinische Studie per se nicht aussagekräftig genug, um etwas so Aberwitziges wie Homöopathie belegen oder widerlegen zu können.“
Oder im Gespräch mit Nachdenken bitte:
Verfechter der EbM haben sich, vielleicht beflügelt durch ihre großartigen Erfolge, zu der Annahme hinreißen lassen, man könne mit ihrer Methodik alles untersuchen. Aber das ist unserer Ansicht nach falsch. Denn keine Studie liefert so hieb- und stichfeste Ergebnisse, dass sie zu einem Richter über die Validität von Naturgesetzen werden könnte.
Auch RCTs haben deshalb nur dann einen Sinn, wenn eine Wirkung zumindest plausibel ist und nicht den Naturgesetzen widerspricht.“
Und das ist genau der Punkt, den FrolleinDoktor ungewollt sogar selbst bestätigt:
Die Homöopathie hat nämlich mittlerweile einige Studien nach diesem „Goldstandard“ vorgelegt.“
Exakt, „einige“.
Einige wenige, die bei der überwältigenden Mehrzahl der negativen Studien leicht als statistische Ausreißer zu identifizieren sind und augenfällig die Schwächen von statistischen Methoden offenlegen, denn:
Durch den statistischen Charakter der Studien kann zufällig ein falsch-positives Ergebnis entstehen. Wenn man z.B. ein Konfidenzintervall von 95 Prozent heranzieht, so werden 5 Prozent aller Studien nicht wirksamer Verfahren auch mit hervorragendem Studien-Design ein positives Ergebnis haben.
Hier kann dann u.a. der Publikations-Bias mit dazu führen, dass fälschlicherweise das Bild einer Wirksamkeit entsteht.“
Man könnte sogar sagen:
Wenn das Einzige, dass für die Homöopathie spricht, darin besteht, dass beispielswiese 5 Prozent der korrekt durchgeführten Studien einen Effekt gezeigt haben, und dieses Ergebnis als statistisches Artefakt problemlos erklärbar ist, ist das eben KEIN Beweis für die außerordentlichen Behauptungen der Homöopathie.“
Und deshalb fordert Weymayr keine „Forschungsverbote“, sondern ganz schlicht erst einmal den Nachweis der „Scientabilität“:
RCTs sind unverzichtbar, um Nutzen und Schaden medizinischer Maßnahmen zu ermitteln – aber sie sind bei Weitem nicht aussagekräftig und fehlerresistent genug, um die Naturgesetze aushebeln oder bestätigen zu können […]
Bevor man klinische Studien macht, sollte man prüfen, ob das Medikament oder das Verfahren den bekannten Naturgesetzen widerspricht […]
Experimente müssten aussagekräftig genug sein, um die gesicherten Erkenntnisse der Naturwissenschaften widerlegen zu können. Man könnte also fordern: Versuche müssten erst einmal beweisen, dass beim Verreiben und Verschütteln geistartige Kräfte freigesetzt werden.
Erst wenn die Scientabilität feststeht, können wir über klinische Studien zur Wirksamkeit des Verfahrens reden […]
Die Fehlerrate der Methoden, mit denen man Naturgesetze untersucht und geprüft hat und immer noch prüft, ist viel geringer als die Fehlerrate von RCTs. Die Belege für die Richtigkeit der Naturgesetze sind viel zu stark, als dass man diese ernsthaft mit RCTs erschüttern könnte, eben auch weil wir wissen, dass diese RCTs fehleranfällig sind.“
Wie notwendig es in der Tat wäre, bei den irrationalen Grundlagen der Homöopathie anzusetzen (die bislang von den Homöopathen einfach stillschweigend vorausgesetzt werden), beweist wiederum unfreiwillig die Bloggerin FrolleinDoktor selbst, wenn sie schreibt:
Weymayr […] zaubert flugs das Argument der „Scientabilität“ aus dem Hut. Das Wort-Ungetüm steht für alles, was nicht wissenschaftsfähig ist oder sein kann. Und das gilt natürlich insbesondere für die Homöopathie.
Weil ihre Wirkung für Naturwissenschaftler nicht vorstellbar ist. Weil es ein „Gedächtnis“ des Wassers nicht gibt. Oder nach naturwissenschaftlichen Grundsätzen nicht geben kann, besser: nicht geben darf.“
Ah ja.
Vom „nicht gibt“ (stimmt) rutscht das „Frollein Doktor“ auf ihrer schiefen „Argumentations“-Ebene rasant und ohne jedes Faktum zum „nicht geben darf“ (Unsinn).
- Wir brauchen uns überhaupt nichts „vorzustellen“ – wir *wissen* sehr gut, dass Wasser allenfalls ein Ultrakurzzeitgedächtnis hat.
- Wir *wissen* fernerhin, dass die Behauptungen von Jacques Beneviste oder Masaro Emoto in puncto „Wassergedächtnis“ widerlegt (Beneviste) oder spekulativer Nonsens (Emoto) sind.
Warum also die Homöopathen eine ernsthafte Auseinandersetzung mit „naturwissenschaftlichen Grundsätzen“ so beharrlich scheuen, können wir uns überaus lebhaft *vorstellen*.
Und der beste Beweis dafür ist eine so stark verdünnte, ängstliche und in sich widersprüchliche Suada à la FrolleinDoktor.
Selbstverständlich kann man das Konzept der „Scientabilität“ in Frage stellen und kontrovers diskutieren – aber dazu sollte man sich zumindest damit beschäftigen.
Das tut heute sehr ausführlich Dr. Norbert Aust in seinem Blog Beweisaufnahme in Sachen Homöopathie:
Fehlende Scientabilität der Homöopathie ein Eigentor?“
Aust kommt zu dem Schluss, dass …
… das Konzept der Scientabilität für den Kampf um eine objektive Bewertung der Homöopathie keinen Nutzen bringt, sondern eher das Gegenteil der Fall ist.“
Einen Kommentar von Dr. Christian Weymayr gibt es auch schon dazu.
Zum Weiterlesen:
- Fehlende Scientabilität der Homöopathie – ein Eigentor? Beweisaufnahme in Sachen Homöopathie am 15. Februar 2014
- Homöopathie nicht mehr “scientabel”??? Frollein Doktor am 10. Januar 2014
- Darüber lachen und vergessen? Homöopathie und Scientabilität, GWUP-Blog am 8. Januar 2014
- Homöopathie, Scientabilität und “die Suche nach dem Nichts” in der Süddeutschen, GWUP-Blog am 11. Januar 2014
- Sind Homöopathie-Studien irrelevant oder Was bedeutet “Scientabilität”? GWUP-Blog am 19. Juni 2013
- Interview mit Dr. Christian Weymayr, Autor des Buches „Die Homöopathie-Lüge“, Nachdenken bitte am 11. Februar 2013
- Gesamtschau der Studien zur Homöopathie, Detritus am 27. April 2013
- Hat Wasser ein Gedächtnis? Zeit-Wissen am 27. November 2003
- “Die Homöopathie-Lüge” – ein Interview (Teil 1), GWUP-Blog am 23. Dezember 2012
- “Die Homöopathie-Lüge” – ein Interview (Teil 2), GWUP-Blog am 23. Dezember 2012
- “Scientabilität”, Hoaxilla-Podcast Nr. 129 vom 30. Juni 2013
- Herr Dr. Weymayr: Scientabilität – tut das weh? Ruhrbarone am 25. Juli 2013
- Scientabilität – eine Gegenrede, Sebastian-Bartoschek-Blog am 12. Juni 2013
- Scientabilität – Kritik einer Gegenrede, Nachdenken bitte am 19. Juni 2013
- Das Gedächtnis des Wassers, Skeptiker 2/2008
- Methoden müssen gegenstandsadäquat sein, Gesundheits-Check am 16. Januar 2014
- Homöopathie und kein Ende – der Irrweg in die Zukunft, Ratgeber-News-Blog am 16. Januar 2014
16. Januar 2014 um 00:07
„übrigens eine Diplom-Biologin“
Wie solche Leute durch ein Studium kommen ist mir schleierhaft.
16. Januar 2014 um 05:19
Das FrolleinDoktor:
„Hinter FrolleinDoktor verbirgt sich die Journalistin für Medizin und Kultur Annette Bopp, diplomierte Fischereibiologin, aber nie in diesem Beruf tätig, sondern seit 1983 als Medizin-Redakteurin tätig, seit 1988 freiberuflich unterwegs. Meine Spezialgebiete sind die Medizin und die Kultur, insbesondere der Tanz.“
Spezialgebiet Tanz.
Alles klar.
16. Januar 2014 um 09:01
Ich habe versucht, folgenden Kommentar zu dem Artikel des FrolleinDoktor zu posten. Meiner Erfahrung nach verschwinden solche Kommentare öfter im Orcus, daher hier eine Kopie:
‚… dumm nur, dass das in der von Ihnen zitierten Studie applizierte Medikament offenbar kein Homöopathikum war, sondern in Dosierungen zwischen 0,01 un 10 mg verabreicht wurde.
Dieses Beispiel stützt Ihre Argumentation hinsichtlich der Homöopathie überhaupt nicht.‘
Es geht hier um die folgende Studie, die sie als BEleg für die wissenschaftlichen Erfolge anführte:
http://www.ejcancer.com/article/S0959-8049%2813%2900550-9/abstract
16. Januar 2014 um 10:35
Es bleibt mir tatsächlich nicht viel, als mich vollumfänglich Herrn Aust anzuschließen:
„Das Konzept der randomisierten Vergleichsstudie ist entweder immer zu bezweifeln oder nie. Ein Weg dazwischen ist nicht vorstellbar.“
Denn das ist genau das Problem: ein RCT ist eine Versuchsreihe, die ja insbesondere auch bei „richtigen“ Medikamenten die Wirksamkeit belegen (bzw. widerlegen) soll. Und entweder, ich bin mit korrekt durchgeführten RCTs in der Lage, ein wirksames Medikament von einem unwirksamen zu unterscheiden, oder ich bin das eben NICHT. Dazwischen gibt es nichts.
Was wir am Beispiel der Homöopathie eindrucksvoll sehen, ist wie stark verzerrbar eine Studie ist: Veröffentlichungs-Bias, schlechtes Studien-Design, mangelhafte (oder fehlende) Verblindung und/oder schlichte Unkenntnis von Statistik und Mathematik lassen den Fehlerbalken am Studienergebnis deutlich kleiner erscheinen, als er sein müsste: so erscheinen Studien als signifikant, die dies nicht sind. Das ist aber ein GRUNDSÄTZLICHES Problem von RCTs, nicht nur von Homöopathie-RCTs.
Mein Problem dabei ist deshalb dasselbe, das Herr Aust hat. Denn, wenn RCTs so anfällig gegen wissentliche oder unwissentliche Manipulationen sind, dass sie wertlos sind… dann sind ihre Ergebnisse generell und IMMER wertlos. Will sagen: wir können dann JEDE Beurteilung von Medikamenten auf Basis von RCTs wegwerfen. Analog zum Problem, überhaupt eine Wirksamkeit festzustellen, ist auch das Problem zu sehen, ob ein neues (teures) Medikament „besser“ wirkt als das alte (billige) Medikament.
Haben wir eine grundsätzlich bessere Möglichkeit, die Wirksamkeit eines Medikaments zu beurteilen? Eben nicht, zumindest wüsste ich von keiner. Und selbst wenn: jede Untersuchung eines Effekts muss auch in der Lage sein, die „Null“ zu messen, also eben die Abwesenheit des Effekts. Wenn ich sage, „mein Verfahren kann gar nicht messen, wenn der Effekt nicht auftritt“, sage ich damit notwendigerweise „mein Verfahren kann keine Aussagen zur Größe des Effekts machen“, und dann kann ich gleich einpacken und nach Hause fahren.
Wenn RCTs unsere derzeit beste Möglichkeit zur Medikamenten-Untersuchung sind und die Homöopathie-Frage vor allem zeigt, wie anfällig sie sind, sollten wir dann doch wohl darüber nachdenken, wie wir generell die Aussagefähigkeit von randomisierten Studien verbessern und Kriterien definieren, mit deren Hilfe man zumindest besser die Spreu vom Weizen trennen kann. Denn wie gesagt: das betrifft die Aussagefähigkeit über JEDES Präparat, ganz besonders auch über „echte“ Medikamente.
Die Idee von der „Scientabilität“ ist außerdem, wenn man es einmal nüchtern betrachtet, ein logischer Fehlschluss: zumindest „moving the goalposts“. Ich mag das Ergebnis nicht, also verändere ich nachträglich die Bedingungen und erkläre das Ergebnis für ungültig. Ich kann aber doch nicht, nur weil mir das Ergebnis nicht gefällt, auf einmal im Nachhinein behaupten, dass ausgerechnet bei Homöopathie die Methodik nicht funktioniere. Kommentare von Homöopathie-Fans wie Frau Bopp zielen genau in diese Richtung, und wir Skeptiker machen uns mit so einem Ansatz selbst unglaubwürdig.
Ich schätze die Arbeit von Herrn Weymayr durchaus, aber in der Frage der „Scientabilität“ hat er sich verrannt.
16. Januar 2014 um 11:48
@Robert:
Sie schreiben: „Und entweder, ich bin mit korrekt durchgeführten RCTs in der Lage, ein wirksames Medikament von einem unwirksamen zu unterscheiden, oder ich bin das eben NICHT. Dazwischen gibt es nichts.“
Ich möchte widersprechen: Doch, natürlich gibt es etwas dazwischen. Ein RCT ist eine Methode, die mit einer gewissen Warscheinlichkeit eine sinnvolle Aussage liefert. Je besser man methodisch arbeitet, umso höher. Aber die Fehleranfälligkeit ist immer da.
Bei einem Medikament, das möglicherweise funktioniert, weil es einen plausiblen Wirkmechanismus gibt, können wir RCTs anwenden. Nicht perfekt. Aber das beste was wir haben. Und ein guter Grund, mit dem Testen nicht aufzuhören wenn das Medikament mal auf dem Markt ist, kritisch hinzuschauen, mit präziser Methodik zu versuchen, Fehler auszumerzen und mögliche Manipulationen, etwa durch Publication Bias, aufzudecken. Es gibt genügend Beispiele, wo einst als wirksam geltende Medikamente in Zweifel gezogen werden mussten.
Bei Medikamenten, bei denen wir schon vorher wissen, dass sie nicht wirken können, brauchen wir die Unsicherheit der RCTs nicht. Denn wir haben etwas besseres: Naturgesetze der Physik oder der Chemie, die sich millionenfach bewährt haben. Die Homöopathie ist schon mit so grundlegenden Dingen wie dem 2. Hauptsatz der Thermodynamik nicht in Einklang zu bringen.
Wir können bei jedem Medikament nur die besten wissenschaftlichen Methoden anwenden die wir haben. Manchmal ist das ein RCT. Manchmal ist selbst das schwierig, weil man nicht für jede medizinische Maßnahme ein adäquates Placebo hat. Manchmal gibt es bessere Methoden als den RCT. Dann man diese benutzen.
16. Januar 2014 um 11:58
@trixi:
„Für “normale” Tests mit Medikamenten auf bereits erforschten und gültigen Grundlagen reichen RCTs völlig aus.“
Dem würde ich jetzt aber auch widersprechen. RCTs reichen leider nicht aus, wie sich in der Vergangenheit allzu oft gezeigt hat (das beliebte Beispiel „Tamiflu“ könnte man hier anführen). Wir brauchen bspw. auch Maßnahmen gegen Publication Bias, etwa verpflichtende Studienregister.
16. Januar 2014 um 13:09
@Hanno, trixie:
Mein eigentliches Argument haben Sie nicht beantwortet: entweder, es gibt eine Aussagekraft bei RCTs, oder es gibt sie nicht.
Natürlich hat dies statistische Grenzen, selbst bei „perfekter“ Durchführung.
Aber die Frage „bringt mir ein RCT grundsätzlich etwas“ ist ein reines „ja oder nein“.
Wenn es diese Aussagekraft gibt, dann gibt es also (natürlich mit einem gewissen Fehlerbalken) eine Aussage darüber, ob ein Medikament überhaupt wirkt bzw. ob es besser wirkt als vorhandene. Mit anderen Worten: wenn ich RCTs korrekt durchführe, MUSS ich bei Wasser mit hoher Konfidenz eben „wirkt nicht“ herauskriegen.
Ein jedes wissenschaftliche Experiment muss auf die Baseline geeicht werden, weshalb auch in RCTs die saubere Placebo-Kontrolle so wichtig ist.
Wenn ich nun bei Homöopathika gehäuft „positive“ Studien bekomme, also mehr als statistisch zu erwarten wären (im Beispiel von Herrn Aust war über die Hälfte der Studien „positiv“), gibt es wiederum exakt zwei Möglichkeiten: entweder die Studien sind korrekt und es gibt einen nicht verstandenen Effekt, oder die Studien weisen Defekte auf und es gibt diesen Effekt nicht.
Ockhams Rasiermesser erklärt zweiteres für deutlich(!) wahrscheinlicher.
Womit ich wieder beim selben Problem angelangt bin. Ich habe RCTs vorliegen, die „gut“ durchgeführt wurden, aber augenscheinlich trotzdem in enorm erhöhter Quote falsche Positive erzeugt haben (wegen welcher methodischen Fehler auch immer). Was um alles in der Welt soll nun der Grund dafür sein, dass dies bei Studien zu „echten“ Medikamenten anders wäre?
Im Gegenteil legt die Erfahrung doch leider sehr nahe, dass verzerrte Studien ein weit verbreitetes Problem sind.
Ich bleibe deshalb dabei: die Lösung kann nur darin bestehen, die Methodik zu verbessern und damit die Qualität der durchgeführten Medikamenten-Studien INSGESAMT zu erhöhen. Um es einmal bitter auszudrücken: wenn man mit RCTs derzeit anscheinend nicht einmal in der Lage ist, zuverlässig Wasser zu identifizieren, was soll man dann mit der Methode überhaupt anfangen können?
Ist denn die Anzeige eines Spannungsprüfers glaubwürdig, auf dem ein dickes Schild klebt „Achtung: wenn 0V angelegt werden, ist die Anzeige beliebig“? Klar, ich kann dann einfach Spannungen von 0V zu nicht scientabel, ergo unzulässig erklären…
16. Januar 2014 um 13:14
Frollein schreibt
„Wir brauchen uns überhaupt nichts “vorzustellen” – wir *wissen* sehr gut, dass Wasser allenfalls ein Ultrakurzzeitgedächtnis hat.“
Ja dass Wasser ein Kurzzeitgedächtnis hat, das weiss die Wissenschaft auch, die hat es jedenfalls gemessen.
Hat Covan et al vor 9 jahren in Nature hochrangig publiziert
hier:http://www.nature.com/nature/journal/v434/n7030/abs/nature03383.html
Zitat:“and that liquid water essentially loses the memory of persistent correlations in its structure within 50 fs.“
Na ja und eine Laufzeit von rund 50 femtosek (10hoch minus 15 sek)das reicht ja wirklich nicht für die Laufzeit eines Arzneimittels.
16. Januar 2014 um 14:05
RCTs als Basis sind das(!) grundlegende Problem auch der evidenzbasierten „traditionellen“ Medizin.
Die Methodik der Studie stammt vom Begründer der Homöopathie, d.h. ist deshalb gewählt/entwickelt/popularisiert worden, um unwissenschaftlichen Unsinn zu „begründen“.
Jetzt einige aufgehübschte Varianten des Instrumentariums „Studie“ (allen voran RCTs) als Basis für eine „medizinische Wissenschaft“ zu nehmen, nimmt der Medizin jedes Vorrecht, sich als „Wissenschaft“ sehen zu lassen.
Jeder wirkliche medizinische Fortschritt der letzten 100 Jahre war nicht durch Studien indiziert, sondern durch klare deduktiv (durch klassische Chemiker oder Anatomen) überprüfte Plausibilitätsketten, ohne die es weder Antibiotika noch Operationstechniken gäbe. Wozu dienen also letztlich RCTs in der Medizin?
Etwas überspitzt könnte man sagen: Genauso wie in den Parawissenschaften dienen sie in erster Linie dazu, Scientabilität „vorzugaukeln“ und letztlich dazu, mit der Rückführung auf Wissenschaft, eine Menge Geld zu scheffeln – leider trifft dies nicht nur auf Homöopathen, sondern in großem Umfang (nicht zuletzt durch die formalen „Publikationszwänge“, die am leichtesten über Studien erreicht werden) auf alle Ärzte zu!
Conclusio: Es ist methodisch falsch, nur die statistisch untermauerte Fehlerquote von RCTs zu diskutieren – schon das Axiom, dass Medizin eine Wissenschaft ist (ohne Abwertung rede ich gerne von ärztlicher Kunst oder Handwerk) muss hinterfragt werden und generell muss klar ausgesprochen werden, dass das Instrumentarium der Studie nicht in das primäre wissenschaftliche Handwerkszeug aufgenommen werden soll, sondern lediglich der statistischen Absicherung der Experimentauswertungen helfen kann!
16. Januar 2014 um 15:38
@Robert
Das Problem ist, was schließe ich aus den RCTs. RCTs liefern keine Beweise, keine Erklärungen. Sie liefern eine Auskunft.
Man kann damit Thesen stützen. Und hier liegt der Fehler der Homeopathie.
Der taditionelle Ansatz wäre: Hier ist mein postulierter Wirkmechanismus. Er wird durch diese Basis gestützt, diese Naturwissenschaftlichen Grundlagen zeigen, dass er funktionieren könnte. Und mit einer RCT die nach Schema XYZ aufgebaut ist könnte ich das stützen.
Der hömeopatische Ansatz: Ich habe keinerlei Belege was passiert oder warum, aber eine RCT ist signifikant. Hömeopathie funktioniert.
RCTs sind sinnvoll, aber nicht, um die nicht vorhandenen Grundlagen zu ersetzen.
Als Beispiel, der Schachroboter. In diesem saß eigentlich ein Mensch, der Schach gespielt hat gegen den Gegner. Num nehmen wir an, wir haben jemanden der diesen Roboter sieht, nicht weiß, dass sich darin ein befindet und postuliert der Roboter selbst muss intelligent sein. Als beleg führt er an, dass der Roboter Schach spiele gewinnt.
Er gibt keine Erklärung an, warum und wie der Roboter gewinnt oder wie er überhaupt spielt. Aber da er in 5% der Fälle das Schachspiel gewinnt muss er intelligent sein. Eine nähere Untersuchung wie das Öffnen des Roboters lehnt er ab. Dass der Roboter spiele gewinnt, reicht als Beleg dafür das er intelligent sein muss.
Hier ist der Punkt: Die Schachspiele, was der Roboter gewinnt oder nicht gewinnt sind die RCTs. Die Intelligenz des Roboters entspricht der Hömeopathie. Solange nicht klar, wie der Roboter überhaupt Schachspielen kann, kann nicht die Tatsache dass er Spiele gewinnt als Erklärung herangezogen werden.
16. Januar 2014 um 19:21
Wenn ich Herrn Weymayr richtig verstanden habe – und das hat er mir auf meienen Blogbeitrag bescheinigt – geht es bei der Scientabilität nicht darum, den soundsovielten ‚Nachweis‘ zu erbringen, dass Homöopathie nicht wirkt. Es geht vielmehr darum, den behaupteten Anspruch, die Homöopathie habe wissenschaftliche Grundlagen, in der Öffentlichkeit, also für Laien verständlich, zu entkräften bzw. nicht weiter zu unterstützen.
Und hierzu muss man die bereits vorliegenden vermeintlich positiven Studienergebnissen irgendwie entkräften und ebenfalls dafür sorgen, dass die H. nicht mit weiteren positiven Ergebnissen ihr Image weiter aufpolieren kann.
Das Konzept der Scientabilität sieht vor, der Homöopathie die Wissenschaftlichkeit einfach abzusprechen und dies mit dem Erkenntnisstand der Physik zu begründen.
Die Frage ist nicht, ob diese Aussage berechtigt ist oder nicht, sondern ob sich dieses Vorgehen dafür eignet, die Öffentlichkeit zu überzeugen.
Dazu muss man es vermitteln können und man darf der Gegenseite nicht zusätzliche Angriffsflächen bieten. Beides halte ich bei der Scientabilität für sehr schwierig. Im Kommentarbereich zu meinem Blogbeitrag habe ich meine Vorbehalte nochmals sehr ausführlich dargestellt (http://www.beweisaufnahme-homoeopathie.de/?p=1513#comments).
@ trixi
Es ist gerade eine positive Seite einer RCT, dass sie unabhängig von der Kenntnis eines Wirkprinzips funktioniert. Nirgendwo ist das Studiendesign oder die Auswertung davon abhängig, dass man den Wirkmechanismus kennt. Demzufolge muss es für die Zuverlässigkeit des Ergebnisses auch bedeutungslos sein, ob man einen Wirkmechanismus kennt oder nicht. Wenn das Verfahren eine unwirksame Therapie erkennen können soll, das über eine plausible Wirkungsweise verfügt, dann muss es das auch können, wenn diese Kenntnis nicht vorliegt oder falsch ist. Beides im Rahmen der dem Verfahren immanenten Unschärfe.
Wenn ein Thermometer zuverlässig Temperaturen anzeigen soll, dann muss es das können, egal, ob ich eine Erklärung dafür habe, warum es draußen 15° sind (‚Es ist Frühling‘) oder nicht (‚Eigentlich ist ja Winter…‘)
Ich habe in der Tat ein Problem mit den RCTs. Nicht mit dem Verfahren an sich – jedes Verfahren hat eine gewisse Unschärfe, auch die Längenmessung mit dem Zollstock beispielsweise.
Aber es scheint (nur?) bei den Medizinern ein genereller Mangel an Kenntnissen über Messen und Auswerten vorzuliegen.
Eine RCT wird von Wissenschaftlern durchgeführt und die Veröffentlichung geschrieben, die Peer-Reviewer prüfen das, es wird eine Metaanalyse durchgeführt, diese wird heftig diskutiert von Leuten, die Anhaltspunkte dafür suchen, dass das Ergebnis nicht zutrifft – und keiner dieser vielen schlauen Leute merkt, dass man mit einer Waage, die auf 100g genau anzeigen kann, keine Unterschiede in der Gewichtsreduktion von 94g feststellen kann.
Das ist elementar, mit dieser Performance kommt ein Ingenieurstudent nicht durch das messtechnische Praktikum zum Vordiplom.
Da liegt der Hase im Pfeffer. Und ich vermute, dass das bei den RCTs in der evidenzbasierten Medizin nicht anders ist.
Ich bin dabei, ein Paper zu schreiben, um diesen Sachverhalt der Fachöffentlichkeit mal zu präsentieren. Mir ist jedenfalls klar geworden, warum es viele Medikamente gibt, die bei mir nur geringe bis keine Wirksamkeit zeigen.
16. Januar 2014 um 20:14
@Norbert Aust und @trixi
Zum Wirkmechanismus möcht ich noch was anfügen, weil hier glaub eine falsche Vorstellung von Weymeyers Argumenten vorliegt.
Es geht bei der Scientabilität denke ich NICHT darum, dass man für ein Medikament einen Wirksamkeitsmechanismus vorlegen muss. Es geht nur darum, dass ein solcher prinzipiell überhaupt denkbar ist und nicht den Naturgesetzen widerspricht.
Ein Beispiel: Es gibt relativ gute Belege dafür, dass hochdosierte Zinktabletten Erkältungen verkürzen können (es gibt auch Studien die anderes nahelegen, aber das ist erstmal nicht relevant, es geht ja ums grundsätzliche). Aber warum das so ist, da gibt es zwar ein paar Vermutungen, aber im Prinzip ist es weitgehend unklar. Aber prinzipiell ist vorstellbar, dass Zink Erkältungen verkürzt. Denn Zink ist eine Chemikalie und wenn man eine Chemikalie in relevanter Konzentration in einen menschlichen Körper tut ist es plausibel, dass diese dort das Immunsystem beeinflusst und Veränderungen hervorruft.
Bei der Homöopathie haben wir keine Chemikalie. Wir haben (zumindest bei den hochpotenzierten Homöopatika) überhaupt keinen Wirkstoff. Die Idee, dass „nichts“ etwas bewirkt ist abstrus.
Fazit: Es geht nicht darum, einen Wirkmechanismus erklären zu können. Ein Medikament, dessen Wirkmechanismus unbekannt ist, für dessen Wirkung es aber Hinweise gibt, sollte man via RCT untersuchen. Ein Medikament aber, dessen Wirkmechanismus gegen die Naturgesetze verstößt, das sollte man links liegen lassen.
16. Januar 2014 um 20:31
@Hanno
Nein, es geht darum ein Konzept zu finden, um damit einem Laien erklären zu können, dass die Homöopathie trotz vorliegender positiver Egrebnisse Humbug ist und daher auch keine weiteren Untersuchungen sinnvoll sind. Und das muss auch dann Bestand haben, wenn die Gegenseite dagegen argumentiert.
Uns selber brauchen wir wohl nicht mehr mit noch mehr Nachweisen noch katholischer zu machen.
16. Januar 2014 um 21:59
@trixi
Das homöopathische Asthma-Spray ist ja der Gipfel…unglaublich…
Für mich sind die Notfall-Medikamente die absolute Grenze…vielleicht kann die Homöopathie bei leichten Krankheiten eine Linderung bringen (Placebo-Effekt), dies sollte aber auch durch Aufklärung „behoben“ werden, aber bei einem akuten Notfall, haben diese „Medikamente“ nichts, aber auch rein gar nichts verloren !
17. Januar 2014 um 06:52
Der Glaube an die allein seeligmachenden RCTs ist allerdings nicht nur in diesem Kontext erschüttert. Er wird gelistet bei „WHAT SCIENTIFIC IDEA IS READY FOR RETIREMENT?“ http://www.edge.org/responses/what-scientific-idea-is-ready-for-retirement
17. Januar 2014 um 06:54
@ ludoergosum: Der schachspielende Roboter ist eine schöne Analogie, gut gewählt.
@ Kurt: Kein Laborexperiment zeigt Ihnen, ob Amitriptylin bei neuropathischen Schmerzen wirksamer ist als Imipramin und kein Laborexperiment hätte die Problematik der Hormonersatztherapie zeigen können.
Das hat viele Gründe, von der Unmöglichkeit, die Vielfalt menschlicher Kollektive im Laborexperiment darzustellen über die begrenzte Laufzeit von Laborexperimenten bis hin zur Unmöglichkeit, bestimmte patientenrelevante Endpunkte (z.B. den Tod) im Laborexperiment abzubilden.
Klinische Studiendesigns sind für klinische Fragestellungen unverzichtbar. Sie sind aber erstens nicht für alle Fragestellungen geeignet und zweitens kann man sie sich sparen, wenn man weiß, dass etwas nach allen Erkenntnissen der Naturwissenschaft nicht funktionieren kann. Das gilt für die spezifische Wirksamkeit homöopathischer Arzneimittel, deren Wirksamkeit angeblich ja durch die seltsamen Potenzierungsprozeduren zustande kommt.
Diese Prozeduren sind wissenschaftlich haltlos, daher macht es keinen Sinn, die dadurch angeblich erzeugte Wirksamkeit in klinischen Studien zu testen. Und die Studien zeigen insgesamt ja auch, dass man über das statistische Fehlerrauschen nicht hinauskommt.
Anders, wenn es um die Frage geht, ob das homöopathische Behandlungssetting insgesamt wirksam ist.
Das ist keine naturwissenschaftlich absurde Fragestellung und sie lässt sich auch nicht im Labor beantworten.
17. Januar 2014 um 08:42
@Norbert Aust:
„Ich bin dabei, ein Paper zu schreiben, um diesen Sachverhalt der Fachöffentlichkeit mal zu präsentieren. Mir ist jedenfalls klar geworden, warum es viele Medikamente gibt, die bei mir nur geringe bis keine Wirksamkeit zeigen.“
wenn Sie einen Reviewer o.ä. brauchen können, stehe ich gerne zur Verfügung. Ich bin Naturwissenschaftler, allerdings seit ein paar Jahren in der Software-Entwicklung gelandet. Und wie Sie kein Mediziner (sagen wir einfach, meine Promotion hat länger gedauert als ein paar Wochen)… ob das nun ein Vor- oder Nachteil ist, lasse ich offen. :)
(PS: der T-Online-Server hat mir gerade „user unknown“ erklärt…)
17. Januar 2014 um 12:54
@ robert
Meine Emailadresse: …
17. Januar 2014 um 12:56
@Norbert Aust:
Ich teile Robert die Adresse privat mit.
17. Januar 2014 um 16:44
Momentan gibts im TV täglich Werbung für das homöopathische Medikament MEDITONSIN.
Es ist schon merkwürdig, dass ein Homöopathikum 4x mehr Quecksilber enthalten darf, als im Trinkwasser maximal erlaubt ist.
17. Januar 2014 um 16:58
@ Norbert Aust:
Naja, das ist vielleicht etwas pauschal geurteilt. Die Fallzahlschätzung zur Bestimmung der erforderlichen Stichprobengröße (sozusagen die Bestellung der Waage mit der nötigen Messgenauigkeit) gehört eigentlich zum kleinen 1×1 der Studienplanung. Aber wie es im Leben eben so ist: Manchmal gelingt es einfach nicht, genügend Probanden zu rekrutieren (Patient/innen kann man sich nicht nach Belieben liefern lassen), manchmal reicht das Geld nicht, und manchmal wird natürlich auch geschlampt.
17. Januar 2014 um 17:37
Also ich habe mir mal die Seite von „Frollein Doktor“ durchgesehen und bin wirklich entsetzt. Vor allem die „Gesundheitstipps“, die von der guten Frau kommen sind ja unterirdisch.
17. Januar 2014 um 17:40
@Michael S.:
Es scheint so zu sein, dass Pharmakritik (siehe „Frolleins“ Bücher für die Stiftung Warentest) bei ihr anscheinend mit völlig unreflektierter Akzeptanz von „Alternativmedizin“ einhergeht.
17. Januar 2014 um 17:45
@Joseph Kuhn
wenn ich wüsste dass eine oder mehrere gut gemachte Studien endlich mal da zu beitragen würden die Geschichte mit der Homöopathie für alle zeit zu beenden, würde ich mich für jede Studie sogar unentgeltlich melden ;)
17. Januar 2014 um 20:11
@nihil jie
Eine Studie, die die Geschichte der Homöopathie für alle Zeit beenden würde, kann es nicht geben…da sie eine Glaubenssache ist (und das im doppelten Sinne).
Der „Glauben“, der durch andere weitergegeben wird, nach dem Motto: „Oma Erna hat das und das geholfen – probier‘ es mal aus, vielleicht hilft es auch dir.“
Der „Glauben“ an diese Heilmittelchen werden durch subjektive Erfahrungen, Selbstheilungskräfte (Placebo-Effekt) und oder Scheinkorrelationen gestützt und nicht durch wissenschaftliche Studien, denn „Oma Erna“ ist das egal…
17. Januar 2014 um 20:12
@ Josef Kuhn
nein, das war kein bildhafter Vergleich.
In der Studie wird tatsächlich der Einfluss eines homöopathischen Mittels bei der Gewichtsreduktion untersucht. Als Messmittel hatte man tatsächlich eine Waage mit einer Anzeigenauflösung von 100g zur Verfügung und hat damit tatsächlich Unterschiede in der Abnehmrate von unter 100g gemessen, sogar bis herunter zu 17 g.
http://www.beweisaufnahme-homoeopathie.de/?p=1034.
17. Januar 2014 um 20:17
Nachtrag: Diese angesprochene Studie wurde in der Shang-Studie als qualitativ gut bewertet und ist eine der acht pro-Homöopathie-Studien, die in das Endergebnis eingeflossen sind.
17. Januar 2014 um 21:07
@ Norbert Aust: Danke für die Info, das hatte ich in der Tat als Analogie missverstanden.
17. Januar 2014 um 22:39
@Ralf
ausgerechnet jetzt, wo ich gelernt habe mir die Welt schön zu reden, kommst du mir hier jetzt mit so einem unbestreitbaren Dämpfer *gg
wobei mir persönlich ziemlich egal wäre ob Wasser ein Gedächtnis hätte oder nicht, oder sogar es so eine Informationsübertragung gäbe… nur bewiesen sollte es sein. Im Grunde wäre es doch super wenn man plötzlich ein angenommenes und unerklärliches Phänomen erklären könnte, weil der Wirkmechanismus verstanden worden wäre. Das schräge an der Homöopathie ist aber, dass sie kein einzigartiges medizinisches Phänomen ist.
Homöopathie ist eher ein esoterisches Marketing-Phänomen. Der Placeboeffekt ist ein Phänomen, aber um da drauf zu kommen bedarf es keine Homöopathie. Das Placebo-Phänomen ist natürlich würdig genauer untersucht zu werden.
Was ich natürlich nachvollziehen kann ist der Wunsch ein Allheilmittel zu besitzen. Den Wunsch habe ich gelegentlich auch, obwohl ich da zweifel hege, ob das überhaupt möglich wäre. Fakt ist aber, dass so etwas nicht durch Wunschdenken entsteht sondern der Weg dahin nur beschritten werden kann, in dem man forscht und Erkenntnisse sammelt.
Und vor allem nicht scheut Erkenntnisse zu verwerfen falls sie sich als nicht geeignet oder schlicht falsch erweisen sollten.
17. Januar 2014 um 23:34
@Robert
„entweder, es gibt eine Aussagekraft bei RCTs, oder es gibt sie nicht.“
Da stellt sich für mich die Frage, welche Ergebnisse eine RCT liefern kann und muss, wenn man sie auf ein Nicht-Medikament anwendet.
Scientabilität zielt, wenn ich das recht verstanden habe, darauf ab, vor einer Studie festzustellen, ob es sich überhaupt um ein Medikament handelt. Methoden zu finden, um diese Feststellung hinreichend zuverlässig treffen zu können, ist die Herausforderung.
Insgesamt scheint mir Herrn Weymayrs Ansatz richtig und notwendig.
Die Schwachpunkte sind jedoch die Angreifbarkeit und die mangelnde Vermittelbarkeit. Aber vielleicht lässt sich das ja noch beheben.
18. Januar 2014 um 08:12
Ich denke, das Grundproblem ist, dass die signifikanten Ergebnisse von einzelnen RCTs einfach falsch interpretiert: Vor allem werden viel zu stark verallgemeinert. Die Bias werden oft nicht ausreichend betrachten, die externe Validität wird ausser acht gelassen etc.
Das führt dann dazu, dass es mehr widersprüchliche Studien gibt als es geben dürfte. Und auch dazu, dass sogar die Schwurbler mal ein positives Studienergebnis herbeizaubern können. Und führt eben dazu, dass eine einzelne RCT eben kein „Beweis“ für irgendwas ist.
Auch sollte „man“ (wenn ich mal ein paar Tage Zeit finde, dann opfere ich mich) den unterirdischen deutschen Wikipedia-Artikel zur RCTs mal auf das Niveau des englischen Artikels bringen.
Gäbe es für das Projekt evtl. Mitstreiter?
Mit einer einfachen Übersetzung ist es ja nicht getan, insbesondere bei der Suche nach guten deutschsprachigen Quellen bräuchte ich Unterstützung.
Dann könnte „Frollein Doktor“ da auch nicht mehr so einen Mist draus zitieren.
18. Januar 2014 um 09:04
@Bernd Harder:
Da kann ich Ihnen nur zustimmen. Mir kommt die Seite als typische schwarz-weiß Darstellung vor.
Alles, was „alternativ“ ist, ist prinzipiell „hip“ und gut. Wenn das allerdings in Aussagen gipfelt wie im Beitrag zur Grippeschutzimpfung, wenn das „Frollein“ schreibt: „Was mich von dieser Impfung zusätzlich abhält, ist die Einschätzung, die ich sowohl von Hausärzten wie auch von KollegInnen immer wieder höre und die ich aus eigener Erfahrung bestätigen kann: ungeimpft erkrankt man seltener.“
Solche Aussagen sind (gerade für die Angehörigen von Risikogruppen) doch höchst gefährlich.
Vor allem frage ich mich, was die gute Frau zur „Medizinjournalistin“ qualifiziert.
Ihre Bücher für die Stiftung Warentest kenne ich allerdings nicht, mir (und meinem Blutdruck) hat schon ihr Blog gereicht.
18. Januar 2014 um 10:35
@Christoph Bördlein
„die allein seeligmachenden [sic] RCTs“ – ’ne Spur kleiner geht’s nicht, gell?
Dieser Blogeintrag zeigt doch genau das Gegenteil – „uns“ Skeptikern ist durchaus bewusst, dass RCTs ohne Sinn und Verstand keine Aussagekraft haben, da auch ein Goldstandard verschiedenen Störquellen unterliegt – der Skeptiker, der jedem RCT blind vertraut ist ein von „Alties“ gebauter Strohmann.
Wenn Du den von Dir verlinkten Text gelesen hast müsste Dir aufgefallen sein, dass es da vorrangig um RCTs zu „lifestyle changes“ geht, nicht um pharmakologische RCTs.
Es gibt eben keinen „Verhaltensplacebo“ – allein das Wissen, dass das eigene Verhalten beobachtet wird, kann zu einer unbewussten Verhaltensänderung führen.
18. Januar 2014 um 14:19
@Michael S.:
<< Was mich von dieser Impfung zusätzlich abhält, ist die Einschätzung, die ich sowohl von Hausärzten wie auch von KollegInnen immer wieder höre und die ich aus eigener Erfahrung bestätigen kann: ungeimpft erkrankt man seltener. << Von einer Medizin-Journalistin sollte man zumindest rudimentäre Rechenkenntnisse erwarten können: "Nehmen wir an, in einem Dorf leben 1000 Einwohner, wovon nur 20 nicht geimpft sind. Es werden Masern eingeschleppt. Die 20 Ungeimpften erkranken. Da der Masernimpfstoff eine Erfolgsquote von etwa 95 Prozent hat, sind 50 der Geimpften nicht immun und erkranken ebenfalls. Mithin erkranken in der Tat mehr als doppelt so viel Geimpfte wie Nichtgeimpfte. Ohne Impfung wären allerdings nicht 70, sondern 1000 Personen erkrankt – ein durchschlagender Erfolg der Impfung." https://blog.gwup.net/2009/10/22/die-argumente-der-impfgegner/
18. Januar 2014 um 14:32
Ich lasse mich seit vielen Jahren gegen Grippe impfen. Letztes Jahr hatte ich dies ausnahmsweise „verschlampt“. Prompt lag ich zwei Wochen mit einer Grippe im Bett.
Diesen Winter habe ich mich selbstverständlich wieder impfen lassen…
18. Januar 2014 um 15:44
Ich hatte bisher einmal eine richtige Grippe, also keinen grippalen Infekt oder eine Erkältung, eine richtige Grippe mit dem vollen Programm inklusive Spitalaufenthalt, Herzproblemen und und und. Seitdem verpasse ich keine Impfung mehr. Seitdem bin ich aber auch äußerst allergisch gegen so einen Schwachfug, wie er von „Frollein Doktor“ verbreitet wird.
18. Januar 2014 um 16:08
Ich zitiere mich mal, zu Sinn und Unsinn von RCT’s:
„Bei der Bewertung von Studienergebnissen ist die Einbeziehung der a-priori-Wahrscheinlichkeit unverzichtbar, oder, schlicht gesagt, außergewöhnliche Ansprüche erfordern außergewöhnlich gute Beweise. Faraday (leider weiß ich es nicht mehr genau) soll gesagt haben, wenn es gelänge, mit Gedankenkraft auch nur eine Feder anzuheben, dann müsste sich unsere Auffassung vom Weltall ändern.
Das gleiche gilt für die Homöopathie: die Datenlage aus 200 Jahren Wissenschaftsgeschichte ist einfach überwältigend, das kann mit einer kontrollierten Doppelblindstudie nicht übern Haufen geworfen werden. Es wäre um Größenordnungen wahrscheinlicher, dass diese Studie fehlerhaft war, und wenn nicht, dann repräsentiert sie das 5% Grundrauschen.
Die weitere „Forschung“ auf diesem Gebiet ist sinnlose Verplemperung von Ressourcen.“
https://forum.psiram.com/index.php?topic=12321.msg157652#msg157652
Dort auch die weiterführenden Links zu Science Based Medicine.
18. Januar 2014 um 16:58
@ celsus
>> Da stellt sich für mich die Frage, welche Ergebnisse eine RCT liefern kann
Mal etwas aus dem Nähkästchen des Qualitätsmanagements geplaudert:
Jedes (!) Messverfahren hat eine Unschärfe, die auch davon abhängt, auf welche zu messende Größe es angewendet wird. Beispiel: Ein Zollstock ist ein hervorragendes Messinstrument um Längen zwischen, sagen wir, 2 und 200 cm mit einer Messunsicherheit von vielleicht +/- 1 mm zu messen. Das funktioniert gut bei geraden Teilen, wenn man Anfangs- und Endpunkt in gerader Linie mit dem Zollstock verbinden kann. Wo das nicht der Fall ist, versagt der Zollstock vollständig, etwa, wenn man den Durchmesser eines Fussballs ermitteln will.
Darüber hinaus muss man sehen, dass die Messunsicherheit der Messaufgabe angemessen ist. Für den Hobbybastler, der Bücherregale an die Wand hängt, reichen +/- 1mm vollauf. Für die Herstellung von Bauteilen von Automotoren reicht das bei Weitem nicht, denn da kommen einzuhaltende Toleranzen im Bereich von unter 0,01 mm vor.
In der Automobilindustrie ist es eine zwingende Forderung, dass bevor ein Messsystem angewendet werden darf, nachgewiesen werden muss, dass es unabhängig vom Bediener und anderen Betriebsbedingungen in der Lage ist, die Messwerte mit der nötigen Präzision zu liefern (‚Messmittelfähigkeit‘).
Das soll zeigen:
(1) Messen ist ein nicht so ganz trivialer Vorgang.
(2) Jedes Messverfahren hat eine Unschärfe, das ist keine Fehlfunktion sondern einfach eine Eigenschaft, die sich aus dem Messverfahren und der Messaufgabe ergibt.
(3) Die Unschärfe des Messverfahrens muss der Aufgabe angemessen sein, das heißt, die Unschärfe muss die Feststellung des Ergebnisses in der erforderlichen Genauigkeit zulassen.
Die RCT als Messverfahren nutzt statistische Methoden zur Auswertung, deren Unschärfe durch die Wahrscheinlichkeiten für Alpha- und Beta-Fehler beschrieben wird. An diesem Umstand führt kein Weg vorbei, wenn man es mit Versuchswerten zu tun hat, bei denen der Zufall eine Rolle spielt, etwa, wenn Eigenschaften blind zugeordnet werden sollen oder das einzelne Messergenis auch von prinzipiell unbekannten Einflussfaktoren abhängig sein kann.
Das Problem der RCT ist nun nicht, dass sie ‚falsch‘ misst, wenn damit ein homöopathisches Medikament untersucht wird, sondern, dass das Ergebnis überinterpretiert wird.
Üblicherweise wird eine Nullhypothese aufgestellt, die besagt, dass die Verum- und die Placebogruppe gleiche Eigenschaften haben. Dann wird mit einem statistischen Signifikanztest geprüft, wie wahrscheinlich die unterschiedlichen Resultate sind, die die beiden Gruppen am Ende der Studie vorliegen, wenn diese Annahme der Nullhypothese stimmen würde.
Ist diese Wahrscheinlichkeit hinreichend klein, üblich sind unter 5 %, dann ist das Ergebnis signifikant dafür, dass die Nullhypothese nicht zutrifft. Die Gruppen sind dann also wahrscheinlich nicht gleich. Wenn sie es zu Anfang des Versuchs (vermutlich) waren, dann muss etwas passiert sein, dass einen Unterschied herbeigeführt hat, möglicherweise die Wirkung des geprüften Medikaments.
Hieraus ergeben sich nun verschiedene Unschärfen, die keine ‚Falschaussage‘ sind, sondern Eigenschaften eines statistischen Messverfahrens, die man bei der Interpretation der Ergebnisse berücksichtigen muss:
– Es kaann mit einer Wahrscheinlichkeit von im Beispiel 5 % passieren, dass die Ergebnisse auf einen Unterschied der Gruppen hindeuten, obwohl sie es nicht sind (Alpha-Fehler).
– Es gibt übrigens auch eine Wahrscheinlichkeit dafür, dass man Ergebnisse erhält, die darauf hideuten, dass es keine Gruppenunterschiede gäbe, dies aber dennoch der Fall ist. (Beta-Fehler).
– Was die statistische Signifikanz überhaupt nicht aussagt, ist, woher die Unterschiede stammen. Waren die beiden Gruppen schon zu Anfang unterschiedlich? Gab es doch unterschiedliche Einflüsse auf die Gruppen? Dazu gibt es auch noch ganz schlicht und einfach den Zufall.
– Sie sagt auch nicht aus, ob überhaupt die richtige Messgröße ausgewählt wurde, um die Wirkung des getesteten Medikaments zu erfassen.
Egal ob man nun die RCT auf Therapien losläßt, von denen man meint, einen plausiblen Wirkmechanismus zu kennen – der ja nicht unbedingt zutreffend sein muss – oder eine, deren Wirkmechanismus unbekannt oder sehr abstrus ist – eine RCT liefert, wenn man keine weiteren Fehler bei der Versuchsdurchführung macht (was sehr schwierig zu sein scheint), genau die Aussage, ob die beiden Gruppen nach dem definierten Messkriterium wahrscheinlich unterschiedlich sind oder nicht – und nicht mehr.
Daraus auf einen unbezweifelbaren Nachweis für die Wirksamkeit eines Medikamentes oder einer Therapie schließen zu wollen, ist eine Überinterpretation der Aussagekraft des Verfahrens, die leider immer wieder ‚gerne genommen‘ wird.
Unglücklicherweise gibt es aber keine bessere Methodik, mit solchen Ergebnissen umzugehen. In dieser Schwierigkeit behilft man sich dadurch, dass eine unabhängige Wiederholbarkeit des Experiments gefordert wird, dass also andere Wissenschaftler mit der gleichen Therapie in einer anderen Umgebung ähnliche Resultate erzielen. Erst eine Metaanalyse, die mehrere solcher einzelnen RCTs zusammenfasst kann als (einigermaßen) sicherer Wirkungsnachweis gelten.
Eine einzelne Studie lässt dies niemals zu. Wenn das Ergebnis einer Studie jedoch durch vorherige andere Untersuchungen betsätigt wird – Wirksamkeit des Medikaments auf Zellkulturen – dann kann man vielleicht auf eine Replizierung verzichten.
Aus dem Dilemma, dass ein statistischer Signifikanztest erforderlich ist, kommt man whrscheinlich mit keiner neu zu erdenkenden Prüfung heraus, etwa wenn man Homöopathen verblindet herausfinden lässt, ob in dem Fläschchen ein aktives Medikament enthalten ist oder ein Placebo. Schließlich kann der Proband aus reinem Zufall die richtige Aussage treffen. Damit kommt man an der Problematik der Unschärfe des Alpha-Fehlers nicht vorbei, was entsprechende Gedanken zu weiteren neuen Testverfahren eigentlich überflüssig macht.
Ich habe jetzt ziemlich lange gebraucht, um Ihnen, lieber Leser, die Problematik einer statistischen Versuchsauswertung nahezubringen (Danke für die Geduld). Wenn man dies verständlich so in die Öffentlichkeit bringen könnte, dass diese Kenntnisse verinnerlicht werden würden, dann würde es keines neuen Konzepts der Scientabilität bedürfen, um alte und möglicherweise neu hinzukommende Ergebnisse einzelner RCTs in der Homöopathie ins rechte Licht zu setzen.
Indes dürfte dies kaum zu schaffen sein. Aber, ob das Konzept der Scientabilität, so wie von Herrn Weymayr vorgschlagen, das Mittel der Wahl ist, scheint mir fraglich, denn es scheint mir ähnlich schwierig vermittelbar wie die hier dargestellten Zusammenhänge, zusätzlich jedoch – siehe FrolleinDoktor – der Gegenseite erhebliche Angriffsflächen zu bieten.
19. Januar 2014 um 03:10
Zitat Norbert Aust
ich weiß, daß tut jetzt eigentlich nicht zu dieser Sache beitragen…aber dies ist ein in der Quantenphysik ein generelles Problem…
Es ist ein fundamentales Naturgesetz, daß wir die die „Wirklichkeit“ nicht messen können…
http://de.wikipedia.org/wiki/Heisenbergsche_Unsch%C3%A4rferelation
…und das ist ein Problem mit großer Tragweite…es sind nicht die Unzulänglichkeiten unserer Meßmethoden, sondern es gibt hier ein prinzipielles Problem.
Die (klassische) Naturwissenschaft, baut auf einer Dialektik von „Schwarz und Weiß“…aber die Realität hat auch „Grautöne“…und wie Sie schreiben, Herr Aust, kann das bei der Gegenseite zu einer Angriffsfläche führen.
19. Januar 2014 um 03:24
…und das ist auch die Crux…jetzt könnten „Homöopathie-Anhänger“ sagen: „Ihr könnt das aus (prinzipieller) oder anderer Natur nicht messen – also haben wir recht“
Hier kann dem ersten Teil nicht widersprochen werden, aber sehr wohl dem zweiten Teil; das bedeutet nicht, daß die Homöopathen dann recht haben und auch nicht, daß die Prämissen, die sie in der Quantenmechanik verankern, ihre Richtigkeit haben.
19. Januar 2014 um 03:35
…weil es jetzt so spät ist…kann ich etwas weiter ausholen…
Unsere Mathematik baut auch auf einer Schwarz-Weiß-Dialektik…und wir fühlen uns wohl, in einer Argumentation, die auf einer solchen aufbaut.
Aber die Quantenphysik sollte uns lehren, daß es auch andere „Wahrheiten“ gibt.
Unsere „Erfahrungswelt“ freilich, hängt an der „klassischen Sichtweise“…ein gutes Beispiel hierfür ist auch die „Spezielle Relativitätstheorie“ – für unser „Alltags-Leben“ hat sie keinen Einfluss, aber würden wir uns mit annährend Lichtgeschwindigkeit bewegen, so hätte sie einen großen Einfluss.
Unser Gehirn ist nicht evolutionär primär dafür ausgelegt, die Welt zu verstehen und zu beschreiben, sondern um zu überleben…(das schließt natürlich – in einem beschränkten Maße – nicht die „Welt-Erkenntnis“ aus)