Journalisten können vieles, ihrem Selbstverständnis nach sogar alles. Aber wissenschaftliche Studien lesen, fällt ihnen schwer. Hier sind drei Fragen, die sie sich bei der Lektüre einer Studie stellen sollten.
1. Können diese zwei Dinge wirklich miteinander in Verbindung stehen?
Eine Umfrage auf der (urkomischen) Homepage correlated.org ergab: Nur 27 Prozent aller Menschen benutzen regelmäßig Zahnseide. Aber unter denjenigen, die zusätzlich angaben, keine Computerspiele zu spielen, waren es 40 Prozent. Heißt das jetzt also, dass Videospielkonsum zu weniger Zahnseidengebrauch führt? Nein. Das ist Zufall. Ein Statistikprogramm hat das ausgerechnet. Es bleibt aber nur solange Zufall bis sie eine gute Theorie vorlegen können, um die merkwürdige Verbindung zu erklären. Ansonsten gilt: Korrelation ist nicht Kausalität.
Schreiben Sie sich diesen Satz überall hin, worauf Sie regelmäßig schauen, auf den Computerschirm zum Beispiel oder den Badezimmerspiegel. Wenn der Autor der Studie, die Ihnen gerade vorliegt, auch keine plausible Erklärung liefern kann, lassen Sie lieber die Finger davon und schreiben Sie nichts. Denn wie jeder Erstsemester lernt: Gib mir Daten, gib mir Zeit und der Weg zur These ist nicht weit (und die Hausarbeit gerettet!). Will heißen: Im Zweifel lässt sich eine Verbindung zwischen allen möglichen Dingen zeigen. Wo wir auch wieder bei correlated.org wären.
2. Hat der Autor der Studie wirklich alle Ereignisse berücksichtigt?
Nehmen wir an, ihr Leser/Nachbar/Schüler fragt Sie, warum es zu Krieg kommt. Weil Sie das nun auch nicht so genau wissen und gehört haben, das schon schlaue Menschen dazu geforscht haben, finden Sie eine Supi-Dupi-Studie, bei der alles passt und die den Titel trägt: „Warum es Krieg gibt“. Schön, denken Sie sich. Das war einfach. Diese Studie sagt nun: Am Krieg sind immer die Frauen schuld. Und der Autor kann das auch über Seiten hinweg ganz plausibel erklären: am Beispiel Helenas und des Trojanischen Krieges.
Hoffentlich ist ihr Leser/Nachbar/Schüler eine kluge Frau, wenn Sie ihr jetzt erklären, warum es immer Krieg gibt. Dann werden Sie nämlich zu erst als Chauvi beschimpft (zu recht!) und dann aufgeklärt, dass man doch nicht von einem Krieg auf alle schließen könne. Schon gar nicht von einem mythischen wie dem Trojanischen. „Ist doch logisch!“, denken Sie sich als schlauer Leser nachdem ich Ihnen dieses übertriebene Beispiel hier gebracht habe. Sie glauben aber nicht, wieviele Wissenschaftler damit Probleme haben, denn in der Realität ist es oft etwas vertrackter. Die Forscher nehmen dann ein paar Beispiele und sagen, dass sie für alle Ereignisse dieser Art stünden – ohne zu überprüfen, ob das auch stimmt.
Oder schlimmer noch: Sie nehmen dann nur die Beispiele, die ihnen in den Kram passen. Wenn ein Forscher so vorgeht, dann ist seine Studie nicht repräsentativ. Sie schmeißen diese Studie dann am Besten weg. Wie übrigens auch alle Studien, die ihnen ein für alle Mal erklären wollen, warum es zu Krieg kommt. Denn das ist wie mit der Geschichte von Frauen und Männern: viel zu kompliziert.
3. Hat er wirklich ALLE berücksichtigt?
Jetzt wird es appetitlich. Ihre Oma kocht nämlich zum Geburtstag für Sie, ihre Geschwister und die Enkel. Leider kann Oma nur noch ganz schlecht sehen, und hat statt zum Salz zum Zucker gegriffen und damit die Klöße gewürzt. Sie essen natürlich ihre Klöße brav auf. Sie wollen Oma ja nicht verärgern. Nur die Enkel verschwinden der Reihe nach während des Essens ins Bad. Als dann alle fertig sind, fragt Oma erwartungsfroh in die Runde: „Hat’s geschmeckt?“ Sie und die Verwandtschaft überbieten sich in Lobhudelei. Schließlich wartet noch ein Erbe. Nur die Kinder sind noch immer im Bad. Denen ist das Erbe egal, sie interessieren sich gerade nur für ihre Bauchschmerzen.
Oma muss aber den Eindruck gewinnen, dass es allen geschmeckt hat. Die Kinder, die stöhnend prostestieren könnten, krümmen sich auf dem Badvorleger (was sagt das eigentlich über Sie als Eltern aus?). Für die Oma ist das eine prima Sache. Sie kann beim Kaffeeklatsch mit den Freundinnen prahlen, wie sehr es allen geschmeckt habe, und dass sie doch, trotz des hohen Alters, noch kochen könne. So, wie die Oma, verhalten sich manchmal auch Forscher. Wenn in deren Studien Daten auftauchen, die konträr zu ihrem gewünschten Ergebnis liegen, lassen sie diese Daten einfach raus. Ausreißer nennen sie diese Daten dann. Oft haben die Forscher dafür eine gute Begründung. Manchmal aber auch nicht. Dann wollen sie einfach nicht zugeben, dass sie statt zum Salz zum Zucker gegriffen haben. Schließlich kann an einer Studie viel Geld und Ruhm hängen – mehr jedenfalls als am Erbe Ihrer Oma.
Drei Dinge: Korrelation ist nicht Kausalität; Repräsentativität; Ausreißer.
Für eine amüsante und lehrreiche Tour de Force durch die Untiefen des Wissenschaftsjournalismus empfehle ich „Die Wissenschaftslüge“ von Ben Goldacre (Affiliate Link)