Science-Check – wir nehmen Wissenschaft unter die Lupe

Du willst mehr wissen über Forschung und wie sie vonstattengeht? Hier erfährst du alles, was du über Forschung wissen musst.

Um den Durchblick in diesem riesigen Feld zu erhalten, haben wir mit dem Center for Reproducible Science der Universität Zürich zusammengearbeitet.

Jede Studie, auf die sich higgs bezieht, wird im Science-Check eingeordnet: Ist diese Studie ernst zu nehmen? Was sind ihre Schwachpunkte? Ihre Stärken? All das wird im Science-Check beantwortet – schau dir hier an, wie das aussieht.

Dieses Science-Glossar erklärt alle relevanten Begriffe für jedermann und jedefrau.

1. Die Geldgeber

In den OECD-Ländern wurden 2015 rund 68 Prozent von Forschung und Entwicklung über Industrie-Firmen finanziert. 18 Prozent kamen von den Universitäten und 11 Prozent wurden staatlich finanziert. Nur zweieinhalb Prozent fielen ab auf gemeinnützige Organisationen.

Es gibt also zwei Sorten von Auftraggebern: Öffentliche Auftraggeber in Form von Universitäten, Forschungsinstitutionen und Forschungsprojekten. Und dann gibt es die Privaten: Unternehmen und Non-Profit-Organisationen wie Stiftungen.

Die Privaten erstellen oft eigenen Studien – oder beauftragen Institute damit. Viele Firmen, zum Beispiel solche aus der Pharma-Industrie, sind gesetzlich dazu verpflichtet, ihre Produkte mittels Studien zu prüfen. Klinische Studien, also solche am Menschen, müssen in der Schweiz und in der EU von den Ethikkommissionen der jeweiligen Länder bewilligt werden.

Eine Studie, die vom privaten Sektor finanziert wird, verfolgt meist ein klares Ziel. Unseriös muss eine von Privaten finanzierte Studie zwar nicht sein. Auch sind gesponserte Studien methodisch nicht unbedingt schlechter gemacht als nicht gesponserte zumal Pharma-Firmen beispielsweise ganze Abteilungen haben, die sich nur um die Methodik kümmern. Trotzdem kommen gesponserte Studien tendenziell häufiger zu positiven Resultaten, wie eine Studie bei Arzneimitteln zeigt. Dies könnte aber auch daran liegen, dass zum Beispiel Pharma-Firmen ihre Studien im Vorfeld besser absichern, beispielsweise über Vorgängerstudien. Bei Medikamenten herrschen zudem sehr strikte Regeln: So müssen hier jeweils zwei unabhängige Studien die Wirksamkeit belegen.

• Die Forscher von gesponserten Studien könnten aber auch befangen sein – hiervon sind aber auch staatlich finanzierte Wissenschaftler nicht gefeit.
• Es gibt eine Reihe von Tricks, die Auftraggeber – sowohl staatliche wie private – anwenden können, um ein Studienresultat zu beeinflussen:
• Sie stellen Fragen, deren Antwort nur Ja sein kann. Zum Beispiel: Nehme ich ab, wenn ich weniger esse? Natürlich!
• Sie wählen minderwertige Vergleichsprodukte, um wahrscheinlicher zu machen, dass ihre Produkte besser abschneiden.
• Sie verwenden eine nicht repräsentative Stichprobe aus Probanden. Zum Beispiel: Für eine Diät werden nur Leute untersucht, die sowieso schnell abnehmen.
• Wenn das Studienresultat nicht wie gewünscht ausfällt, verschwindet die Studie in der Schublade.
• Wenn sie hingegen das Gewünschte ergibt, wird die Studie mehrmals publiziert: Zuerst als einzelne Studie und dann als sogenannter Review – also als Übersicht über bestehende Studien.
• Der Auftraggeber macht nur so lange Überblicksstudien, wie es nicht genügend Studien gibt, die seinen Interessen zuwiderlaufende Schlüsse ziehen. Ein Getränkehersteller würde also dann einen Review machen, wenn der Grossteil der bisher veröffentlichten Studien zum Schluss kommen, dass ihr Süssgetränk nicht dick macht. Wenn die Mehrzahl der Studien aber zum Schluss kommt, dass das Getränk dick macht, also ein Konsens besteht, wird das Unternehmen kein Review in Auftrag geben.
• Studien benutzen manchmal die Sprache, um zu verschleiern. So geben sie dem Abstract, also der Kurzzusammenfassung, zum Beispiel einen positiven Dreh, obwohl ein negatives Resultat herausgekommen ist. Dies kann bewusst oder unbewusst geschehen.
• Auftraggeber erstellen manchmal statt einer Studie eine Umfrage – denn diese muss keine wissenschaftlichen Standards erfüllen. Dies ist ein Instrument der PR-Industrie. Diese Umfragen werden entweder persönlich, telefonisch oder online geführt.

Grundsätzlich gilt: bei weitem nicht alle Studien werden veröffentlicht. Selbst bei den klinischen Studien – also den Tests an Menschen – bei denen in vielen Ländern eine Veröffentlichungspflicht gilt, passiert dies nicht immer und oft mit mehreren Jahren Verzögerung.

2. Die Journals

Studienergebnisse werden in Fachzeitschriften veröffentlicht. Die meisten sind sogenannt peer-reviewed.

2.1 Peer-Review

Rund 30 000 solcher Journals gibt es weltweit, die «peer-reviewed» sind.
Der Begriff peer-reviewed bedeutet, dass eine Studie von Fachkollegen der Studienautoren begutachtet worden ist. Bei den meisten renommierten Fachzeitschriften lesen zwei bis drei solcher Experten die Studie. Die Fachleute werden dafür nicht bezahlt und sind nicht bei den Verlagen angestellt. Sie machen Verbesserungsvorschläge, legen den Finger auf methodische oder konzeptuelle Schwachstellen und geben der Zeitschrift eine Empfehlung darüber ab, ob die Studie abgelehnt, angenommen oder nur unter bestimmten Bedingungen, zum Beispiel nach zusätzlichen Experimenten, angenommen werden sollte. Auf Anhieb angenommen werden nur wenige Studien. Abgelehnt werden in der Regel Studien, deren Schlussfolgerungen nicht wirklich neu, nicht ausreichend durch Experimente belegt oder für die Leserschaft des Magazins irrelevant sind, bei handwerklichen Fehlern oder Ungenauigkeiten oder ethischen Verstössen wie Plagiaten.

Ein Beispiel, das die Grössenverhältnisse aufzeigt: Von den rund 30 000 peer-reviewed Journals gehören 12 000 zu den englischsprachigen STM-Journals, berichten also über Wissenschaft, Technik und Medizin.

Pro Jahr bekommen die STM-Journals durchschnittlich 280 Eingaben pro Fachzeitschrift. Ungefähr 40 Prozent aller eingereichten Studien werden angenommen, wie Thomson Reuters ermittelte. Viele Studien schaffen es aber nicht einmal bis in den Peer-Review-Prozess: 20 Prozent werden ohne Review abgelehnt.

Der Peer-Review ist aber nicht über Fehleinschätzungen erhaben. Die Reviewer können ihren Vorurteilen erliegen, wenn sie zum Beispiel das Paper einer renommierten Institution vor sich sehen. Zudem gibt es zu viele Papers für zu wenige Wissenschaftler, welche kompetent sind, diese zu begutachten. Auch können in den Studien wichtige Informationen fehlen, welche zur Einschätzung benötigt werden.

Dies kann Folgen haben: Ein Journalist von Science reichte 2013 eine Fake-Studie ein – der Beitrag wurde von 158 Journals akzeptiert. Umgekehrt gibt es auch abgelehnte Studien, die sich im Nachhinein als bahnbrechend herausstellen: Zum Beispiel ein erstes Paper von Peter Higgs zu seinem Higgs-Modell. Das Paper wurde 1966 von Physics Letters abgelehnt. 2013 bekam er den Nobelpreis für Physik. Manche Journals haben deshalb die blind review (verblindete Begutachtung) eingeführt, wo der Autor und die Institution nicht genannt werden, damit die Reviewer neutraler urteilen. Dies kann heute aber über Vorabdrucke und das Internet leichter umgangen werden.

2.2 Predatory Journals

Predatory Journals sind Fachzeitschriften, die eine fragwürdige oder unethische Veröffentlichungspraxis haben. Im Gegensatz zu den peer-reviewed Journals können sich Forschende in den predatory journals eine Veröffentlichung kaufen. Den Autoren ist oft nicht bewusst, dass sie für ihr Geld nicht die üblichen Dienstleistungen einer Fachzeitschrift erhalten. Daher hat sich der Begriff predatory – zu deutsch räuberisch – etabliert.

2.3 Impact Factor

Der Impact Factor einer Fachzeitschrift soll eine Aussage darüber treffen, wie sehr ihre Veröffentlichungen in der wissenschaftlichen Gemeinschaft wahrgenommen werden und wie hoch demnach deren Einfluss ist. Er gibt an, wie häufig ein Artikel in einer Fachzeitschrift von anderen wissenschaftlichen Artikeln durchschnittlich pro Jahr zitiert wurde. Berechnet wird er auf Grundlage von Zahlen der vorausgegangenen zwei Jahre. Die bekannte Zeitschrift Nature beispielsweise hat 2019 einen Impact Factor von 41,577. Das heisst, ein Artikel wird in einem Jahr fast 42-mal von anderen Wissenschaftlern zitiert. Der Impact Faktor wird jährlich in den Journal Citation Reports veröffentlicht. 2018 erfasste der Report 11 877 Zeitschriften. Rund zwei Drittel der Zeitschriften haben einen Impact Factor von ungefähr 1. Nur rund zwei Prozent der Journals haben einen Impact Factor von 10 oder höher.

Allerdings sagt der Impact Factor nichts über die wissenschaftliche Qualität einzelner Studien aus und kann kontraproduktiv sein: Die publizierten Studien müssen spektakulär sein, damit sie viel zitiert werden. Neutrale oder negative Resultate werden tendenziell etwas schwieriger zu publizieren sein, beinhalten aber trotzdem häufig wichtige Informationen für zukünftige ähnliche Studien.

3. Das Studien-Design

Studien können sich durch verschiedene Merkmale auszeichnen:

• Qualitative vs. Quantitative Forschung
  Bei der qualitativen Forschung geht es darum, an mehreren oder einzelnen Fällen Vorgänge und Zusammenhänge zu untersuchen. Die Grösse der untersuchten Gruppe ist dabei weniger relevant, als die Methoden, die verwendet werden. Bei qualitativen Studien werden oft mehrere Methoden verwendet, um Erkenntnisse zu validieren. Es geht hierbei um das «Wie» und nicht um das «Wie viel». Erkenntnisse von qualitativen Studien lassen sich aber nicht immer auf die Allgemeinheit übertragen. Bei der quantitativen Forschung hingegen werden möglichst viele Fälle gemessen und statistisch ausgewertet. Dabei wird meist nur eine Methode verwendet. Dabei wird eine Stichprobe aus der Grundgesamtheit (auch Population genannt) untersucht. Die Grundgesamtheit ist das, worauf man die Ergebnisse übertragen will: Das kann der Kanton Glarus sein, die Deutschschweiz oder die ganze Menschheit. Die Grundgesamtheit sollte im Voraus definiert werden. In jedem Fall sollte die Stichprobe verhältnismässig so beschaffen sein wie die Grundgesamtheit. Auch sollte die Stichprobe genügend gross sein und im Voraus festgelegt werden.
• Explorative Forschung vs. konfirmatorische Forschung
  Explorative Studien suchen nach neuen Erkenntnissen. Hierfür erstellen sie Fragestellungen, zum Beispiel, wodurch Krebszellen sich vermehren, und versuchen, diese zu beantworten. Je nach Verlauf der Studie kann sich die Hypothese ändern und das Studiendesign angepasst werden. Konfirmatorische Forschung hingegen hat von Anfang ein klares Ziel: Eine Hypothese, die Wirksamkeit eines Medikaments zum Beispiel, zu bestätigen oder zu widerlegen – ohne gleichzeitig nach anderen Lösungen zu suchen.
• Randomisierung
  Studienresultate basierend auf randomisierter Gruppeneinteilung sind zuverlässiger. Randomisierung heisst, dass die Versuchsteilnehmer zufällig in Behandlungsgruppen eingeteilt werden. Dies beugt einer Verzerrung der Ergebnisse durch ein ungewolltes Ungleichgewicht in den Gruppen vor. Ungleichgewichte können per Zufall entstehen, zum Beispiel weil alle Probanden in einer Gruppe hohen Blutdruck haben. Oder aber, weil der beteiligte Arzt oder die Ärztin unbewusst Gruppenteilnehmer selektiert, die gewisse Kriterien erfüllen.
• Verblindung
  Bei Experimenten zeigt sich die Schwierigkeit, dass die Teilnehmer aber auch die Versuchsleiter ein bestimmtes Ergebnis der Studie erwarten. Das ist ein Störfaktor, denn die Erwartung kann das Verhalten beeinflussen. Aus diesem Grund haben die Teilnehmer bei einem Blindversuch keinen Einblick in die Details der Versuchsgestaltung: sie wissen also nicht, ob sie das echte Medikament oder ein wirkungsloses Placebo erhalten. Von einem Doppelblind-Versuch spricht man, wenn auch die Versuchsleitung nicht weiss, wer das Medikament und wer das Placebo erhält – so wird ausgeschlossen, dass sie die Teilnehmer unbewusst beeinflusst. Bei einem Dreifachblind-Versuch wird zusätzlich die Datenanalyse von Personen durchgeführt, die nicht wissen, welche Gruppe die Experimental- und welche die Kontrollgruppe ist.

3.1 Empirische Studien

Empirische Studien beruhen auf Erfahrungswerten: Dabei werden Daten gesammelt, die methodisch und systematisch ausgewertet werden.

Eine empirische Studie kann unterschiedlich durchgeführt werden: Als Experiment oder als Beobachtungsstudie.

3.1.1 Das Experiment

Beim Experiment werden verschiedene Bedingungen getestet, um herauszufinden, ob eine Bedingung einen bestimmten Zustand auslöst. Ob also zum Beispiel ein Energydrink wach macht. Man würde einer Gruppe Menschen dieses Getränk geben und der anderen nicht, um den Zusammenhang zu beleuchten.

Um in einem Experiment etwas zu testen, arbeiten Forscher in der Regel mit mehreren Gruppen: An mindestens einer Experimentalgruppe wird getestet – zum Beispiel ein neues Medikament. Eine zweite Gruppe, die Kontrollgruppe, wird nicht «getestet», ihre Bedingungen werden also nicht geändert. Wenn sich die Resultate der beiden Gruppen unterscheiden, kann man das auf das Medikament zurückführen.

Es gibt verschiedene Arten, ein Experiment anzugehen:

• Laborexperiment: Das Laborexperiment findet in einer kontrollierbaren Umgebung statt. Es kann sich um ein Experiment mit Zellkulturen in der Petrischale handeln aber auch um klinische Studien – also Experimente am Menschen. Der Vorteil des Laborexperiments ist, dass der Einfluss von Störvariablen (Faktoren, die das Resultat verzerren) ausgeschlossen oder zumindest minimiert werden kann. Dafür sind die Bedingungen künstlich und unter Umständen weit weg von der «echten Welt» – was die Frage aufwirft, wie gut sich die Befunde auf den Alltag übertragen lassen. Beispiel: Es soll geprüft werden, ob ein neuer Eistee den Schlaf stört. Zwar kann die Versuchsleitung für absolute Stille und Dunkelheit sorgen – was aber, wenn die Probandin schlecht schläft, weil es nicht ihr eigenes Bett ist?
• Feldexperiment: Das Feldexperiment findet in einer natürlichen Umgebung statt. Die Bedingungen sind nah am Alltag und deshalb entsprechend gut darauf zu übertragen. Dafür lassen sich Störvariablen schlechter kontrollieren, was es schwieriger macht, die Befunde zu interpretieren. Beispiel: Es soll getestet werden, ob ein neuer Eistee den Schlaf stört. Die Probandin schläft in ihrem eigenen Bett, so wie immer. Aber vielleicht Feiern die Nachbarn ausgerechnet heute eine Party und sie drückt kein Auge zu. Ob sie der Eistee auch sonst wachgehalten hätte, wissen wir nicht.

3.1.2 Die Beobachtungsstudie

Beobachtungsstudien sind das Gegenstück zu Experimenten: hier wird lediglich der bestehende Zustand, zum Beispiel in Kohorten, also bestimmten Generationen, erforscht, meist über Befragungen oder bestehende Daten.

Werden die Daten verglichen, handelt es sich um eine korrelative Studie. Da sie keinen experimentellen Aufbau benötigen, sind korrelative Studien manchmal günstiger als Experimente – bei weitem aber nicht immer. Die Bedingungen können nicht geändert werden. Auch Störfaktoren können nicht beeinflusst werden. Dabei werden Datenmengen miteinander verglichen und Korrelationen gesucht. Hier kann aber im Gegensatz zum Experiment nicht geprüft werden, was Ursache und was Wirkung ist, sprich: eine Kausalbeziehung kann nicht nachgewiesen werden. Man würde also feststellen, dass alle Leute, die wach sind, gerne Energydrinks trinken. Ob sie deswegen wach sind, kann aber nicht eruiert werden.

3.2 Theoriestudien

Theoriestudien unterscheiden sich von empirischen Studien. Sie befassen sich mit der bereits vorhandenen Forschung und bündeln diese zu Aussagen. Dabei gibt es zwei Möglichkeiten:

• Review: Ein Review gibt einen Forschungsüberblick zum aktuellen Stand an Theorien, Methoden und Befunden zu einem Thema und bewertet diese.
• Systematischer Review: Repräsentativer als ein «normale» Review sind systematische Überblicksstudien. Diese werden mit Hilfe erfahrener Bibliothekare und Bibliothekarinnen erstellt. So haben zum Beispiel sogenannte Cochrane Reviews einen besonders hohen Standard.
• Metaanalyse: Eine Metaanalyse fasst die Resultate von direkt vergleichbaren Studien zu einem Gesamtergebnis zusammen, ihre Fragestellung ist also enger, als jene der Reviews. Voraussetzung ist, dass bereits eine Reihe hochwertiger Studien durchgeführt wurden.
• Modellierung und Computersimulation: Ein statistisches oder mathematisches Modell beschreibt Zusammenhänge vereinfacht. Simulationen sind Berechnungen aufgrund dieser Modelle. So können Statistiken, Karten und Prognosen erstellt werden.
• Attributionsstudie: Eine Studie in der Klimaforschung, bei der die Ursachen von Naturereignissen möglichst genau berechnet werden. Beispiel: Zu welchem Anteil hat Deutschland mit seinem CO2-Ausstoss zu einem Hurrikan in den USA beigetragen?

4. Readiness-Levels

Wenn eine wissenschaftliche Erkenntnis durch eine Studie gewonnen wurde, stellt sich die Frage: Wie schnell wird sie sich im Alltagleben bemerkbar machen? Das kann zwischen wenigen Jahren und Jahrzehnten dauern. Zunächst gilt es, Grundlagenforschung von angewandter Forschung zu unterscheiden.

• Grundlagenforschung
  Hier haben die Wissenschaftler das Ziel, neue Erkenntnisse über grundlegende Prozesse und Phänomene zu gewinnen. Das Ziel ist, neues Wissen zu schaffen – unabhängig von der Anwendbarkeit der Erkenntnis.
• Angewandte Forschung
  Angewandte Forschung hingegen will ein bestimmtes, oft technisches Problem lösen und neue Anwendungen in der Praxis finden. Die in ihr gewonnenen Erkenntnisse werden oft in technische Entwicklungen umgesetzt. Der wissenschaftliche Erkenntnisgrad nimmt von der Grundlagenforschung zur angewandten Forschung hin ab. Der Konkretisierungsgrad sowie der Praxisbezug nehmen hingegen weiter zu.

Je nachdem um welche Art von Forschung es sich handelt, ist die Zeitspanne, bis eine Erkenntnis in den Alltag eindringt besser oder weniger gut beantwortbar. Gewisse Forschungsbereiche haben jedoch sogenannte «Readiness-Levels» etabliert. Dazu gehört die Medizin. In der medizinischen Forschung gibt es verschiedene Stadien von Experimenten:

• In-Vitro-Experimente sind Versuche an Molekülen, Zellkulturen oder Mikroorganismen im Reagenzglas.
• Ex-vivo-Experimente finden an menschlichen Organen statt, die von Verstorbenen gespendet wurden und künstlich am Leben behalten werden.
• In-vivo-Experimente, also Tierversuche finden meist an Mäusen, Ratten oder Affen statt. Handelt es sich um die Entwicklung eines Medikaments, nennt man das präklinische Versuche.
• Am weitesten fortgeschrittene Medikamente, Behandlungsmethoden oder andere Anwendungen werden in klinischen Studien getestet, das heisst am Menschen. Hier werden statt klinischen Studien manchmal auch Beobachtungsstudien durchgeführt.
• Klinische Studien werden in die Phasen 1 bis 4 eingeteilt. In der Phase 1 wird an kleinen Probandengruppen die Sicherheit des Medikaments getestet. In Phase 2 geht es darum, die Wirksamkeit zu testen. Danach erst kommen grosse Probandengruppen zum Einsatz, um die Wirksamkeit zweifelsfrei zu belegen.

Auch bei der technologischen Forschung, zum Beispiel in der Robotik, sind verschiedene Stadien festgelegt:

• Konzept
  In der Phase der Konzeptualisierung werden Prinzipien beobachtet, technologische Anwendungsmöglichkeiten formuliert und experimentell getestet. Verläuft der Test erfolgreich, nennt sich das «proof of concept».
• Validierung
  Ist die Anwendungsmöglichkeit bewiesen, muss die Technologie in Laborversuchen und in Feldexperimenten, also in realem Umfeld, getestet werden.
• Prototyp
  Ist die Technologie validiert, folgt der Prototyp. Dieser soll demonstrieren, dass die Technologie im Markt funktioniert und zusätzlich angepasst werden. Danach folgt der Eintritt in den Massenmarkt.

Bei weitem nicht immer aber lässt sich Forschung so klar zur Anwendung hinführen. Oft ist das Ziel von Studien zum Beispiel, neue Erkenntnisse zu gewinnen, die sich nicht direkt anwenden lassen sondern unserem Wissen über unsere Umwelt dienen und dann zum Beispiel für Prävention eingesetzt werden können. So zum Beispiel die Klimaforschung.