So ordnen Sie wissenschaftliche Studien richtig ein

15.10.2017

Es vergeht keine Woche, in der nicht in irgendeiner Zeitschrift irgendeine Studie zu irgendeinem Thema zitiert wird. Wenn man das über einen längeren Zeitraum verfolgt, stellt man irgendwann fest, dass die Ergebnisse sich widersprechen. Fleisch ist gesund, Fleisch macht krank. Sport ist gut, Sport ist schlecht, vegetarisch gut, vegetarisch schlecht.

Was ist da los?

Man kann grundsätzlich zwei Formen von Studien unterscheiden:

• Experimentelle Studien
• Epidemiologische Studien (manchmal auch prospektive Kohortenstudie oder andere Begriffe)

Bei experimentellen Studien werden Hypothesen in klar definierten Umgebungen einer Überprüfung unterzogen. Dabei ist im Idealfall die Anzahl der möglichen manipulierbaren Parameter möglichst gering, und am besten wird auch immer nur ein Parameter zurzeit manipuliert, um dessen Auswirkungen zu beobachten (dieses Prinzip nennt man „ceteris paribus“ = alles andere gleich). Das können Tierexperimente sein oder gezielte Experimente mit einer Gruppe von Menschen. Experimente im Reagenzglas zählen auch dazu. Die Ergebnisse dieser Studien sind verlässlich, reproduzierbar.

Epidemiologische Studien sind solche, die versuchen, bestimmte Parameter auf der Basis von statistischen Daten in einen Zusammenhang zu stellen. Man stellt statistische Zusammenhänge her, Korrelationen. Die Tatsache, dass zwei Merkmale statistisch korrelieren (also gemeinsam auftreten), heißt nicht, dass diese auch in einem ursächlichen Zusammenhang stehen (=Kausalität). So gibt es zwar einen statistischen Zusammenhang zwischen der Abnahme der Klapperstorchpopulation und dem Geburtenrückgang. Aber was heißt das? Haben wir jetzt bewiesen, dass der Klapperstorch die Kinder bringt?

Die meisten Studien, von denen man oft liest, sind epidemiologische Studien. In den Ernährungs“wissenschaften“ finden diese fast ausschließlich. Sie haben keinerlei Beweiskraft und können bestenfalls zur sinnvollen Erzeugung von Hypothesen dienen.

Sie können sich den Unterschied zwischen experimentell und epidemiologisch an dem folgenden Beispiel klarmachen: Nehmen wir einmal an, jemand stellt die folgende Hypothese auf: „Wenn man über einen Zeitraum von 6 Wochen jeden Tag einen Apfel ist, wird man unverletzlich“. Das ist zugegebenermaßen eine ziemlich seltsame Hypothese, aber es geht mir hier darum, ein möglichst illustratives Beispiel zu haben.

Nun gibt es zwei Möglichkeiten der Überprüfung:

• Möglichkeit 1:
  Sie schicken eine Reihe von Leuten los, die in den Innenstädten Passanten nach ihren Ernährungsgewohnheiten befragen und danach, wie viel Obst und Gemüse und insbesondere Äpfel diese Personen essen. Ferner wird nach der Krankheitsgeschichte gefragt und wie oft bereits Verletzungen vorlagen und welcher Art diese waren. Die erhobenen Daten geben Sie in ein Statistikprogramm ein und lassen sich Korrelationen zwischen den Parametern “Apfelkonsum” und “Verletzungsanfälligkeit” berechnen.
• Möglichkeit 2:
  Sie nehmen 100 Personen. Teilen diese in zwei Gruppen. Die eine Gruppe isst jeden Tag einen Apfel. Die andere nicht. Nach 6 Wochen schaut man, ob die Probanden unverletzlich sind, indem man Ihnen mit einem Messer eine leichte Verletzung bspw. am Unterarm zufügt.

Den Ergebnissen welcher Methode würden Sie eher Vertrauen schenken?

Eine epidemiologische Studie ist kein Experiment. Zwar können die statistischen Verfahren sehr ausgeklügelt sein und verschiedene Faktoren berücksichtigen. Doch im Ergebnis erhalten Sie immer nur eine Korrelation, niemals eine klare Aussage über Ursache und Wirkung.

Prinzipielle Aussagekraft im Sinne einer Beweisführung haben nur kontrollierte, experimentelle, klinische Studien.

Doch auch hier ist Vorsicht geboten, denn die Anzahl der Probanden spielt eine Rolle. Je größer die Zahl der Teilnehmer an einer experimentellen Studie, desto größer ist die Aussagekraft. Gute wissenschaftliche Journals nehmen bspw. eine experimentelle Studie gar nicht an, bei denen die Zahl der Teilnehmer kleiner 30 ist.

Kurz: Auch mit experimentellen Studien kann man Schindluder treiben.

Ein schönes Beispiel finden Sie in dem Artikel “I fooled millions into thinking chocolate helps weightloss”.

Wenn Sie in irgendeiner Zeitschrift oder einem Onlineartikel demnächst Dinge lesen wie: „Studie: Rotes Fleisch erhöht das Krebsrisiko um 30 %!“, dann können Sie mit 100%-iger Sicherheit davon ausgehen, dass es sich um eine epidemiologische Studie handelt. In ca. 99,99 % der Fälle stimmt dann zwar die Korrelation, jedoch wurde die gleiche Risikoerhöhung für andere Parameter nicht berücksichtigt bzw. veröffentlicht. Einen kausalen Zusammenhang hat man hier ohnehin nicht bewiesen. Und ganz nebenbei bemerkt klingt 30 % zwar hoch, ist aber nur ein Faktor von 0.3, also nahe null. Also eine ziemlich schwache Korrelation obendrein.

Lassen Sie sich also von Journalisten keinen Bären aufbinden, wenn diese mal wieder wegen irgendeiner „Studie“ Alarm schlagen. Fragen Sie sich, ob das eine klinische Kontrollstudie mit ausreichend Probanden ist. Falls nicht, können Sie das getrost vergessen.

P.S.: Kleiner Nachtrag: Wenn die Ergebnisse solcher epidemiologischer Studien dann einmal in kontrollierten, randomisierten, klinischen Kontrollstudien überprüft werden, kommt praktisch nie etwas dabei heraus. Die statistische Korrelation löst sich dann in Luft auf.

Bildnachweis: Screenshot „http://www.wissenschaft.de/home/-/journal_content/56/12054/1036149/“ vom 15.10.2017