Vernichtendes Urteil im angesehen British journal of medizin (Allgemeines)

Oliver L., Mittwoch, 20.04.2022, 06:56 (vor 731 Tagen)

„Die evidenzbasierte Medizin wurde durch Konzerninteressen, gescheiterte Regullierung und die Kommerzialisierung der akademischen Welt korrumpiert“

https://www.bmj.com/content/376/bmj.o702

Ei der Daus!

Vernichtendes Urteil im angesehen British journal of medizin

W.W. @, Mittwoch, 20.04.2022, 07:43 (vor 731 Tagen) @ Oliver L.

Das habe ich die ganze Zeit gedacht, dass die evidenzbasierte Medizin das beste war, was wir uns vorstellen konnten, etwas, das ganz nahe an der Wahrheit ist, nahezu identisch mit ihr, aber dass sie seit langen auf den Hund gekommen ist. Weil es Tricks gibt, die evidenzbasierte Medizin durch raffinierte Statistiker so zu verfälschen, dass sie unwahr geworden ist.

Ich habe mich nie richtig getraut, das zu sagen, und bin deshalb sehr gespannt auf diesen Artikel und werde ich heute Mittag im Café lesen!

W.W.

Avatar

Vernichtendes Urteil im angesehen British journal of medizin

agno @, Mittwoch, 20.04.2022, 09:45 (vor 731 Tagen) @ W.W.

Wie gesagt, irgendwie hat man das gewusst, hatte aber Bedenken das zu äußern, weil man nicht in eine Verschwörungskategorie eingeordnet werden wollte. Vermutlich wird das auch noch später so sein. :-(
Danke @ Oliver
agno

--
Weiß nicht, woher ich komm, weiß nicht, wie lang ich bleib, weiß nicht, wohin ich geh, mich wundert, dass ich glücklich bin ...

Vernichtendes Urteil im angesehen British journal of medizin

W.W. @, Mittwoch, 20.04.2022, 09:55 (vor 731 Tagen) @ W.W.

Ich hatte 2004 einen Artikel im DEutschen Ärztblatt geschrieben, der es sogar auf die Titelseite gebracht hatte. Er hieß 'Von der Wahrscheinlichkeit des Irrtums'

Er führte zu einer heftigen Kontroverse seitens des Vorsitzenden des deutschen Cochrane-Gesellschaft, die mein 'philosophisches Gespräch' fix und fertig machte. Es begann so:

Das nachfolgend wiedergegebene Gespräch findet auf der Terrasse eines großen internationalen Hotels in Venedig statt. Teilnehmer sind drei Ärzte, die sich anlässlich eines Kongresses hier getroffen hatten. Sie diskutierten über die Bedeutung von klinischen Studien. Zunächst wurden die fünf Standardargumente der kritischen Ärzte besprochen:
1. Eine Studie kann schlecht geplant und schlampig durchgeführt sein.
2. Die Ergebnisse können gefälscht oder geschönt sein.
3. Auch ein signifikantes Ergebnis ist definitionsgemäß in fünf Prozent der Fälle falsch.
4. Signifikanz ist nicht gleich Wirksamkeit.
5. Der Durchschnittspatient der Studie unterscheidet sich vom konkreten Patienten in der Praxis.
Aber selbst wenn man alle diese Bedenken außer Acht lässt und von idealen Studien und idealen Forschern ausgeht, ist es – das war die ungeheuerliche Behauptung von Salviati – nicht möglich, von der Signifikanz einer Studie auf die Irrtumswahrscheinlichkeit zu schließen.

Sagredo: Unser gestriges Gespräch hat mich in so gewaltige Zweifel gestürzt, dass ich sehr unruhig geschlafen habe. Ich träumte, ich wäre in einen tiefen Strudel gestürzt und konnte weder auf dem Grunde festen Fuß fassen, noch zur Oberfläche emporschwimmen.

Simplicio: Das kommt davon, wenn man immer nur Mineralwasser trinkt. Ich für meinen Teil weiß gar nicht mehr, worüber wir gesprochen haben.

Salviati: Wir nehmen es dir nicht übel, lieber Simplicio, dass du den Wein liebst, aber du solltest nicht versuchen, eine Tugend daraus zu machen. Sagredo meint sicher unsere Diskussion über die Frage, inwieweit uns klinische Studien helfen können, für unsere Patienten die richtige Therapie zu finden.

Sagredo: Genau. Du hattest die unglaubliche Behauptung aufgestellt, klinische Studien in der Form, wie sie derzeit durchgeführt werden, könnten uns keinen Aufschluss darüber geben, ob ein Medikament wirksam ist oder nicht. Habe ich dich in diesem Punkt richtig verstanden?

Salviati: Exakt.

Sagredo: Es wäre sicher nützlich, deine Argumente für unseren Freund Simplicio noch einmal kurz zusammenzufassen, denn ich weiß, er ist den geistigen Freuden ebenso zugetan wie den irdischen.

Salviati: Ich komme deiner Bitte gern nach, Sagredo. Wie ihr wisst, dreht sich in der klinischen Forschung alles um die Signifikanz. Sie ist geradezu zum Fetisch geworden. Wenn in einer klinischen Studie gezeigt werden kann, dass ein Medikament einer Placebobehandlung signifikant überlegen ist, dann hat die Forschergruppe die besten Chancen, dass ihr Ergebnis auch in einer hochkarätigen Fachzeitschrift veröffentlicht wird. Ich behaupte jedoch, dass die Signifikanz nicht das misst, was sie zu messen vorgibt.

Simplicio: Bitte, Salviati, erwarte nicht, dass wir eine solche Aussage ernst nehmen können. Die Signifikanz ist unbestritten das Maß der Wahl für die Verlässlichkeit der Ergebnisse. Nichts könnte klarer und deutlicher sein.

Sagredo: Ich muss Simplicio Recht geben. Du willst sicher nur sagen, dass Studien schlecht geplant oder schlampig durchgeführt werden oder dass man den Ergebnissen nicht trauen kann, weil sie oft geschönt oder sogar gefälscht sind?

Salviati: Nein, es gibt zwar die von euch beschriebenen Missstände, aber das Besondere an meiner Behauptung ist, dass sie auch zutrifft, wenn Studien dem Goldstandard entsprechen.

Vernichtendes Urteil im angesehen British journal of medizin

W.W. @, Mittwoch, 20.04.2022, 09:56 (vor 731 Tagen) @ W.W.

... (Fortsetzung)

Sagredo: Du meinst, deine Feststellung trifft auch auf Studien zu, die randomisiert, placebokontrolliert und doppelblind durchgeführt worden sind?

Salviati: Ja. Auch wenn eine Studie völlig korrekt und von absolut unbestechlichen Forschern durchgeführt wurde.

Simplicio: Jetzt verstehe ich. Du willst darauf hinaus, dass die Signifikanz kein Maß für die Wirksamkeit ist, dass eine Studie ein signifikantes Ergebnis haben kann, ohne dass der nachgewiesene Effekt eine klinische Relevanz hat. Das ist trivial!

Salviati: Es kommt sicher häufig vor, dass ein minimaler Effekt signifikant ist, aber auch darum geht es mir nicht.

Simplicio: Oder hältst du es für problematisch, von den Durchschnittswerten sorgfältig ausgewählter und genau überwachter Patienten in einer süditalienischen Studie ableiten zu wollen, was genau für den Patienten, der in deiner Praxis in Nordhessen vor dir sitzt, das Richtige ist?

Salviati: Auch das ist ein Problem, aber keines, das in diesem Zusammenhang ein Rolle spielt.

Sagredo: Du machst uns neugierig.

Salviati: Es geht darum, dass es einen tief verwurzelten Glauben unter Ärzten gibt, das Signifikanzniveau einer Studie mit der Irrtumswahrscheinlichkeit gleichzusetzen, also der Wahrscheinlichkeit, ein zufälliges Ergebnis für bare Münze zu nehmen.

Sagredo: Was könnte näher liegend sein? Aber sollten wir nicht, bevor wir fortfahren, die Begriffe so deutlich wie möglich klären?

Simplicio: Gern. Wenn ein Medikament gegen Placebo getestet wird, dann sind im Prinzip vier Ergebnisse möglich (Tabelle 1). Bei der Signifikanz geht es allein um die Möglichkeit, dass ein falsch positives Ergebnis vorliegt. Die Lehrbuchdefinition lautet: Der p-Wert ist die Wahrscheinlichkeit, dass die Studie zufällig ein positives Ergebnis zeigt, obwohl die untersuchten Behandlungen sich in Wirklichkeit nicht unterscheiden. Wenn diese Wahrscheinlichkeit kleiner als fünf Prozent ist, nennt man das Ergebnis statistisch signifikant.

...

Ich glaube, es ging mir damals schon um dasselbe?! Das ist 20 Jahre her!!! Heute wäre ich nicht mehr dazu in der Lage, so etwas zu schreiben. Jedenfalls bin ich gespannt, was ich gleich im Café lesen werde!:-)

W.W.

PS: Ich weiß gar nicht mehr, wie der hieß, der sich so schrecklich aufgeregt hatte...:confused:

Umgekehrtes Signifikanz-Beispiel

Michael27 @, Mittwoch, 20.04.2022, 11:16 (vor 731 Tagen) @ W.W.

Eine kleine Abrundung zum Thema:

Es gibt auch den Fall, dass eine Behandlung formal nicht signifikant, aber wahrscheinlich wirksam ist. Den hatten wir bei der Phase-3-Studie SPI2 zum hochdosierten Biotin bei progredienten MS-Verläufen.

Dort lag die Wirksamkeit in der Biotin-Gruppe bei über 12 % (deutliche Verbesserung nach 12 und bestätigt nach 15 Monaten) - und damit genauso hoch wie bei den Vorgängerstudien (Phase 1b und Phase 2). Eigentlich reicht das - nach gesundem Menschenverstand - um die Wirksamkeit des hochdosierten Biotin nachzuweisen. Sensationellerweise lag die Wirksamkeit in der Placebo-Gruppe jedoch bei 9 %. Da das erwartete Ergebnis für die Placebo-Gruppe allerdings (realistisch) mit 2 % angesetzt war, kam das Ergebnis "keine signifikante Relevanz" heraus. Hätte man die erwartete Placebo-Erfolgswahrscheinlichkeit mit 5 % oder höher angesetzt, wäre "signifikante Relevanz" herausgekommen.

In diesem Fall gab es - ziemlich ungewöhnlich - meiner Meinung nach gegen Ende der SPI2-Studie von Seiten der Studienbetreiber ein Interesse, die Studie scheitern zu lassen. Sei es, dass Gelder von großen Pharma-Firmen an die kleine Firma MedDay geflossen sind - sei es, dass MedDay erkannt hat, dass sich der weltweite Patentschutz für (das Vitamin) hochdosiertes Biotin nicht aufrechterhalten lässt - seien es andere Gründe. Es wurde angeregt, eine neue Studie mit höherem erwartetem Placebo-Erfolgs-Prozentsatz durchzuführen: bisher hat niemand Interesse an einer solchen Studie gezeigt.

Von daher weiss ich seither, dass die ermittelte Signifikanz durch das Studiendesign erheblich beeinflussbar ist. Es ist eine formal errechnete Größe, die inhaltlich nur eine bedingte Aussagekraft hat.

Michael

P.S.:
Ich nehme mein hochdosiertes Biotin weiter ...

RSS-Feed dieser Diskussion

powered by my little forum