Das musst du wissen
- Ein erheblicher Teil der klinischen Studien ist unnütz, da sie unveröffentlicht oder schlecht konzipiert sind.
- Über das Ausmass dieser sogenannten Forschungsverschwendung sind sich Fachpersonen jedoch uneins.
- Einer aktuellen Studie zufolge weisen 87 Prozent der Studien zu Magenkrebs mindestens ein Merkmal von Verschwendung auf.
Warum das wichtig ist. In der besten aller möglichen Welten ist die klinische Forschung sinnvoll. Dies wird den Patientinnen und Patienten auch so präsentiert: Abgesehen von den Vorteilen – Zugang zu innovativen Behandlungen, hochwertige medizinische Betreuung, garantierte Kostenerstattung – geht es darum, den medizinischen Fortschritt zu fördern. Aber es gibt auch eine unerfreuliche Seite der Geschichte: Viele Studien gehen für die Wissenschaft verloren.
In der Krebsforschung. Eine neue Studie, deren Ergebnisse im Fachmagazin Jama Network Open veröffentlicht wurden, untersuchte das Ausmass der Verschwendung in der Onkologie. Die Krebsforschung ist in der klinischen Forschung herausragend, da sie einen grossen Teil der Finanzmittel erhält und sie häufig an der Spitze von Verfahren und Entwicklungen steht.
In der aktuellen Studie konzentrierte sich ein Team chinesischer Forschenden auf Magenkrebs. Sie identifizierten 137 grosse randomisierte kontrollierte Studien, die in den letzten zwanzig Jahren durchgeführt wurden. Unabhängige Prüfer bewerteten diese Studien anschliessend.
Science-Check ✓
Studie: Characteristics and Research Waste Among Randomized Clinical Trials in Gastric CancerKommentarDies ist ein Kommentar der Autorin / des AutorsJede der hier eingeschlossenen Studien wurde nach drei Kriterien von Verschwendung bewertet. Das Problem ist aber komplexer und beschränkt sich in Realität nicht auf diese drei Kriterien. Zudem bezieht sich die Studie ausschliesslich auf das Studienregister «ClinicalTrials.gov», obwohl es auch andere Register gibt. Um genaue Aussagen zum Ausmass der Verschwendung zu machen, braucht es darum zusätzliche Studien dieser Art.Mehr Infos zu dieser Studie...Die Ergebnisse sind ernüchternd: Fast neunzig Prozent der Versuche wiesen mindestens ein Merkmal von Forschungsverschwendung auf. Im Detail:
- Nur bei rund sechzig Prozent der durchgeführten Studien wurden die Ergebnisse veröffentlicht. Bei in Asien durchgeführte Studien oder solchen, die eine nichtmedikamentöse Intervention, zum Beispiel einen chirurgischen Eingriff, bewerten, war der Prozentsatz eher tiefer.
- Von den 81 veröffentlichten Studien wiesen zwanzig Prozent mindestens ein Kriterium für eine mangelhafte Berichterstattung auf, und drei Viertel hatten ein hohes oder nicht auszuschliessendes Risiko für methodische Verzerrungen.
«Es gibt keinen Grund zu der Annahme, dass die Ergebnisse in anderen Disziplinen besser sind», kommentiert Erik von Elm, Mitbegründer und Direktor von Cochrane Schweiz, auf Nachfrage. Cochrane Schweiz ist Teil der internationalen und unabhängigen Organisation Cochrane, die Ergebnisse aus klinischen Studien erfasst, bewertet und zusammenfasst. Eine 2019 in den USA durchgeführte Untersuchung, die mehr als dreihundert chirurgische Studien einschloss, kam zu sehr ähnlichen Ergebnissen wie die aktuelle Arbeit aus China: 85 Prozent der Studien wiesen mindestens ein Kriterium der Verschwendung auf.
Eine kurze Geschichte der Verschwendung. Das Konzept der Verschwendung in der klinischen Forschung kam mit einem berühmten Leitartikel des Fachmagazins BMJ von 1994 mit dem Titel «The scandal of poor medical research» auf. «Wir brauchen weniger Forschung, bessere Forschung und Forschung aus den richtigen Gründen», skandiert der britische Statistiker Doug Altman, einer der führenden Köpfe der Cochrane-Bewegung für bessere klinische Forschung.
«Zuvor haben wir uns vor allem mit einem Aspekt dieser Verschwendung befasst, nämlich der Nichtveröffentlichung von Ergebnissen.»Erik von Elm, Direktor Cochrane Schweiz
Im Jahr 2009, diesmal in der Zeitschrift Lancet, sprachen Paul Glasziou – damals Direktor des Oxford Zentrum für evidenzbasierte Medizin – und Iain Chalmers, Mitbegründer von Cochrane, zum ersten Mal von einer «vermeidbaren Verschwendung» klinischer Forschung und wagten eine Schätzung. Ihrer Meinung nach sind 85 Prozent der klinischen Forschung mehr oder weniger nutzlos.
Den beiden klinischen Forschern zufolge versickert so ein grosser Teil der hundert Milliarden Dollar, die jährlich für die biomedizinische Forschung ausgegeben werden – ganz zu schweigen vom ethischen Problem der Verschwendung gegenüber Erkrankten und der Entwicklung des Wissens.
Diese Ideen führten zu einem umfassenden Forschungsprogramm, das 2014 auf einer von der Zeitschrift Lancet organisierten Konferenz in London vorgestellt wurde. «Mit dieser Arbeit hat sich das Konzept der Verschwendung in der klinischen Forschung etabliert», sagt Erik von Elm, Direktor von Cochrane Schweiz. «Zuvor haben wir uns vor allem mit einem Aspekt dieser Verschwendung befasst, nämlich der Nichtveröffentlichung von Ergebnissen.»
Die von Cochrane vorgebrachten Ideen stossen auf ein grosses Echo, werden aber in unseren Breitengraden manchmal als zu kritisch empfunden, um sich so durchzusetzen, wie sie es verdienen, betont Hervé Maisonneuve, Spezialist für wissenschaftliche Integrität und Autor eines einflussreichen Blogs zu diesem Thema:
«Es dreht sich viel um Cochrane: Doug Altman und Iain Chalmers kommen aus Oxford und haben einen Kontakt zu Kanada, in Hamilton bei Toronto. Dies ist eine sehr angelsächsische Kultur, die vor allem in Kanada, England und Australien verkörpert wird, aber auch in den nordischen Ländern. Interessanterweise sind die Vereinigten Staaten kein starker Motor. Und in der frankophonen Sphäre wird es, sagen wir mal, toleriert.»
Über die Kunst der Verschwendung. Doch was genau steckt hinter der Idee, dass eine klinische Studie verschwenderisch sein kann? In ihrem Artikel von 2009 unterscheiden Paul Glasziou und Iain Chalmers drei Klassen von Phänomenen:
- Probleme bei der Berichterstattung: Mehr als die Hälfte der veröffentlichten Studien bieten eine unvollständige oder unbrauchbare Dokumentation der durchgeführten Versuche.
- Nichtveröffentlichung: Mehr als die Hälfte der Studien werden niemals wissenschaftlich veröffentlicht.
- Probleme bei der Konzeption: Mehr als die Hälfte der Studien wurden Berichten zufolge ohne ausreichende Prüfung der vorhandenen Literatur konzipiert und weisen vermeidbare methodische Verzerrungen auf.
Nicht alle sind sich über das Ausmass der so definierten Verschwendung einig, Grössenordnungen werden manchmal als übertrieben angesehen – ganz zu schweigen davon, dass sich «Good Practices» im Laufe der Zeit weiterentwickeln. Es besteht jedoch kaum ein Zweifel daran, dass es erhebliche Verschwendung gibt.
«Eine gute Randomisierung ist sehr schwer zu bewerkstelligen.»Hervé Maisonneuve, Spezialist für wissenschaftliche Integrität
Unzureichend dokumentierte Studien. Eine Studie ist nur nützlich, wenn ihre Bedeutung und ihre Qualität von der wissenschaftlichen Gemeinschaft beurteilt werden können. Dazu ist es erforderlich, das Studienprotokoll zu veröffentlichen und viele Details zu erwähnen, die sich auf die Bedeutung der Studie auswirken können. Beispielsweise wie die Freiwilligen randomisiert werden, also ob sie der Interventions- oder der Placebogruppe zugewiesen werden, oder ob sie sich an das Protokoll halten.
Der Spezialist für wissenschaftliche Integrität Hervé Maisonneuve sagt:
«Hier kommen wir zu den methodischen Kriterien der guten Praxis: Man braucht ein Protokoll, eine Randomisierung. Viele Leute sagen, dass sie es tun, tun es aber nicht immer, oder erwähnen es nicht in ihrem Artikel. So werden beispielsweise Freiwillige nach dem Zufallsprinzip ausgewählt, aber die Blindheit wird nicht respektiert, aus guten oder schlechten Gründen. Eine gute Randomisierung ist sehr schwer zu bewerkstelligen: Man braucht eine Software, um Lose mit vielen Kriterien zu ziehen, und oft geschieht dies ganz anders.»
Unveröffentlichte Studien. Dies ist die einfachste Form von klinischer Forschungsverschwendung: Die Studie wird konzipiert, auf einer offiziellen Website registriert – was fast überall empfohlen wird und in der Schweiz seit 2014 obligatorisch ist –, und die Patienten werden rekrutiert. Aber der Prozess ist nicht abgeschlossen, entweder weil die Studie vorzeitig abgebrochen werden muss oder weil die Ergebnisse in der Schublade liegen bleiben.
«Wir haben grosse, vom Schweizerischen Nationalfonds finanzierte Projekte gesehen, die gescheitert sind, weil es nicht genügend Leute gab, die bereit waren, mitzumachen»Erik von Elm, Direktor Cochrane Schweiz
Die Schweiz entgeht dem Problem nicht, ganz im Gegenteil. Im Jahr 2020 hat der Verein Transparimed alle klinischen Versuche gezählt, die in den fünf Universitätsspitälern des Landes gemeldet wurden. Von den 651 Studien, die zwischen 2007 und 2016 eingeleitet wurden, hatte ein Viertel nicht zu einem wissenschaftlichen Artikel oder einem Bericht über die Ergebnisse geführt.
So ging ein Viertel der klinischen Versuche in den Schweizer Universitätsspitälern für die Wissenschaft verloren. «Wenn fünf oder sechs Jahre seit dem Ende der Studie vergangen sind, kommt es kaum noch zu einer Veröffentlichung», sagt Erik von Elm, der sich intensiv mit diesen Fragen beschäftigt hat.
Und er fügt an:
«Teams arbeiten jahrelang, haben Ergebnisse und streben nach den Top-Journalen wie Jama, BMJ oder NEJM, die sehr selektiv sind. Wenn sie abgelehnt werden, versuchen sie es bei zwei oder drei anderen, und nach einer Weile haben sie die Nase voll und ziehen weiter. Oder der Studienleiter wechselt den Arbeitsplatz und hat keine Zeit mehr, sich damit zu befassen.»
Hervé Maisonneuve, der Spezialist für wissenschaftliche Integrität sagt:
«Nach Angaben der Weltgesundheitsorganisation WHO sollten die Daten spätestens ein Jahr nach dem letzten Patientenbesuch veröffentlicht werden. Oft ist der Grund, dass die Ergebnisse nicht gut sind und die Forscher demotiviert sind und kein Manuskript geschrieben haben. Oder sie haben es getan, aber der Sponsor – egal ob eine Institution oder ein privates Labor, es ist dasselbe – hat Einspruch erhoben. Laxheit, Demotivation, Angst vor schlechter Publicity.
Ein weiterer, keineswegs seltener Fall ist, dass die Studie aus Mangel an Freiwilligen abgebrochen wird. «Wir haben grosse, vom Schweizerischen Nationalfonds finanzierte Projekte gesehen, die gescheitert sind, weil es nicht genügend Leute gab, die bereit waren, mitzumachen», sagt Erik von Elm. «Aber selbst in diesem Fall wäre eine Veröffentlichung notwendig, um die «red flags» bei der Rekrutierung zu erkennen. In den USA ist dies sogar vorgeschrieben.»
Schlecht konzipierte Studien. Eine andere Form der Verschwendung betrifft schlecht konzipierte Studien, die erhebliche methodische Fehler aufweisen. Beispielsweise, weil die Versuche nicht doppelblind sind. Doppelblind bedeutet, dass die Versuchsleitung nicht weiss, wer das Medikament und wer das Placebo erhält. Oder wegen schlechter Randomisierung der Patienten. Oder, was noch wichtiger ist, weil sie belanglose oder unzureichend gestellte klinische Fragen behandeln. Erik von Elm sagt dazu:
«Studien zu wenig bedeutenden Forschungsfragen sind schwieriger zu erfassen als Nichtveröffentlichungen. Aber wir wissen, dass es zum Beispiel sogenannte «me too»-Studien gibt: Man macht eine Studie, um eine Studie zu haben, ohne wirklich zu prüfen, was es schon gibt. Oder man wiederholt eine Studie in einem anderen Land, die es anderswo bereits gibt – manchmal ist das sinnvoll, wenn das Gesundheitssystem oder die Bevölkerung anders ist, manchmal aber auch nicht.»
«Die öffentliche Forschung sollte sich vorrangig mit Fragen von öffentlichem Interesse befassen, etwa mit seltenen Krankheiten, Prävention oder Lebensqualität, die für die Industrie wenig interessant sind», sagt der Direktor von Cochrane Schweiz weiter. «Das hat sich mit der Pandemie vielleicht ein wenig geändert: Ein Teil der Öffentlichkeit, aber auch die Entscheidungsträger, haben das Interesse an Präventionsfragen erkannt. Bei Infektionskrankheiten, aber auch bei chronischen Krankheiten.»
Hervé Maisonneuve fügt an:
«Es gibt Bereiche, in denen Menschen eine Marotte haben und sich ein Leben lang mit Themen beschäftigen, von denen wir wissen, dass sie seit vierzig Jahren nichts gebracht haben. Mit den zunehmenden finanziellen Einschränkungen wird dies wahrscheinlich abnehmen, aber es gibt sie. Und dann gibt es auch noch die Pharmaindustrie, die von Anfang an einseitig forscht – zum Beispiel, indem sie die falsche Dosis für das Vergleichsmedikament annimmt, was dazu führt, dass das neue Medikament bevorzugt wird.»
Diese Dimension ist auch mit einer Schattenseite der Forschung verbunden: dem Druck zur Veröffentlichung. Forschende Ärzte werden nach ihrer Fähigkeit bewertet, Artikel in wissenschaftlichen Fachzeitschriften zu veröffentlichen. Dies begünstigt eine Vervielfachung der Versuche – umso mehr in einer fragmentierten und wettbewerbsintensiven Landschaft wie der schweizerischen: «Es stehen zu viele Karrieren auf dem Spiel und zu viele finanzielle Interessen» , seufzt Hervé Maisonneuve. «Wir müssen veröffentlichen, manchmal egal was, um weiterzukommen. Und das gilt auch für Institutionen.»
Heidi.news
