3 Fragen, die sich Journalisten stellen sollten, wenn sie eine wissenschaftliche Studie lesen

Donnerstag, der 29. August 2013 @ 17:07

Journalisten können vieles, ihrem Selbstverständnis nach sogar alles. Aber wissenschaftliche Studien lesen, fällt ihnen schwer. Hier sind drei Fragen, die sie sich bei der Lektüre einer Studie stellen sollten.

1. Können diese zwei Dinge wirklich miteinander in Verbindung stehen?

Eine Umfrage auf der (urkomischen) Homepage correlated.org ergab: Nur 27 Prozent aller Menschen benutzen regelmäßig Zahnseide. Aber unter denjenigen, die zusätzlich angaben, keine Computerspiele zu spielen, waren es 40 Prozent. Heißt das jetzt also, dass Videospielkonsum zu weniger Zahnseidengebrauch führt? Nein. Das ist Zufall. Ein Statistikprogramm hat das ausgerechnet. Es bleibt aber nur solange Zufall bis sie eine gute Theorie vorlegen können, um die merkwürdige Verbindung zu erklären. Ansonsten gilt: Korrelation ist nicht Kausalität.

Schreiben Sie sich diesen Satz überall hin, worauf Sie regelmäßig schauen, auf den Computerschirm zum Beispiel oder den Badezimmerspiegel. Wenn der Autor der Studie, die Ihnen gerade vorliegt, auch keine plausible Erklärung liefern kann, lassen Sie lieber die Finger davon und schreiben Sie nichts. Denn wie jeder Erstsemester lernt: Gib mir Daten, gib mir Zeit und der Weg zur These ist nicht weit (und die Hausarbeit gerettet!). Will heißen: Im Zweifel lässt sich eine Verbindung zwischen allen möglichen Dingen zeigen. Wo wir auch wieder bei correlated.org wären.

2. Hat der Autor der Studie wirklich alle Ereignisse berücksichtigt?

Nehmen wir an, ihr Leser/Nachbar/Schüler fragt Sie, warum es zu Krieg kommt. Weil Sie das nun auch nicht so genau wissen und gehört haben, das schon schlaue Menschen dazu geforscht haben, finden Sie eine Supi-Dupi-Studie, bei der alles passt und die den Titel trägt: „Warum es Krieg gibt“. Schön, denken Sie sich. Das war einfach. Diese Studie sagt nun: Am Krieg sind immer die Frauen schuld. Und der Autor kann das auch über Seiten hinweg ganz plausibel erklären: am Beispiel Helenas und des Trojanischen Krieges.

Hoffentlich ist ihr Leser/Nachbar/Schüler eine kluge Frau, wenn Sie ihr jetzt erklären, warum es immer Krieg gibt. Dann werden Sie nämlich zu erst als Chauvi beschimpft (zu recht!) und dann aufgeklärt, dass man doch nicht von einem Krieg auf alle schließen könne. Schon gar nicht von einem mythischen wie dem Trojanischen. „Ist doch logisch!“, denken Sie sich als schlauer Leser nachdem ich Ihnen dieses übertriebene Beispiel hier gebracht habe. Sie glauben aber nicht, wieviele Wissenschaftler damit Probleme haben, denn in der Realität ist es oft etwas vertrackter. Die Forscher nehmen dann ein paar Beispiele und sagen, dass sie für alle Ereignisse dieser Art stünden – ohne zu überprüfen, ob das auch stimmt.

Oder schlimmer noch: Sie nehmen dann nur die Beispiele, die ihnen in den Kram passen. Wenn ein Forscher so vorgeht, dann ist seine Studie nicht repräsentativ. Sie schmeißen diese Studie dann am Besten weg. Wie übrigens auch alle Studien, die ihnen ein für alle Mal erklären wollen, warum es zu Krieg kommt. Denn das ist wie mit der Geschichte von Frauen und Männern: viel zu kompliziert.

3. Hat er wirklich ALLE berücksichtigt?

Jetzt wird es appetitlich. Ihre Oma kocht nämlich zum Geburtstag für Sie, ihre Geschwister und die Enkel. Leider kann Oma nur noch ganz schlecht sehen, und hat statt zum Salz zum Zucker gegriffen und damit die Klöße gewürzt. Sie essen natürlich ihre Klöße brav auf. Sie wollen Oma ja nicht verärgern. Nur die Enkel verschwinden der Reihe nach während des Essens ins Bad. Als dann alle fertig sind, fragt Oma erwartungsfroh in die Runde: „Hat’s geschmeckt?“ Sie und die Verwandtschaft überbieten sich in Lobhudelei. Schließlich wartet noch ein Erbe. Nur die Kinder sind noch immer im Bad. Denen ist das Erbe egal, sie interessieren sich gerade nur für ihre Bauchschmerzen.

Oma muss aber den Eindruck gewinnen, dass es allen geschmeckt hat. Die Kinder, die stöhnend prostestieren könnten, krümmen sich auf dem Badvorleger (was sagt das eigentlich über Sie als Eltern aus?). Für die Oma ist das eine prima Sache. Sie kann beim Kaffeeklatsch mit den Freundinnen prahlen, wie sehr es allen geschmeckt habe, und dass sie doch, trotz des hohen Alters, noch kochen könne. So, wie die Oma, verhalten sich manchmal auch Forscher. Wenn in deren Studien Daten auftauchen, die konträr zu ihrem gewünschten Ergebnis liegen, lassen sie diese Daten einfach raus. Ausreißer nennen sie diese Daten dann. Oft haben die Forscher dafür eine gute Begründung. Manchmal aber auch nicht. Dann wollen sie einfach nicht zugeben, dass sie statt zum Salz zum Zucker gegriffen haben. Schließlich kann an einer Studie viel Geld und Ruhm hängen – mehr jedenfalls als am Erbe Ihrer Oma.

Drei Dinge: Korrelation ist nicht Kausalität; Repräsentativität; Ausreißer.

Für eine amüsante und lehrreiche Tour de Force durch die Untiefen des Wissenschaftsjournalismus empfehle ich „Die Wissenschaftslüge“ von Ben Goldacre (Affiliate Link)

24 Kommentare auf „3 Fragen, die sich Journalisten stellen sollten, wenn sie eine wissenschaftliche Studie lesen“

  1. Dr. Dent

    Zu Punkt 1: Korrelation ist nicht Kausalitat, aber auch kein Zufall! Also muss der der Schluss aus dieser Studie lauten: Menschen die am Computer spielen, achten im Mittel weniger auf ihre Zahngesundheit. Dieses Ergebnis ueberrascht mich dann auch ueberhaupt nicht, wenn ich mir die Bilder der pubertieren Durchschnittsbesucher der letzten Gamescom in Erinnerung rufe.

      1. Dr. Dent

        Tschuldingung an alle Gamer! Aber auch wenn die Seite correlated.org nicht ernst gemein ist, so stammen die Daten doch aus einer echten Umfrage. Also so einfach zu behaupten, die Korrelation sei Zufall, bedeutet fuer mich den gleiche Fehler zu begehen, wie die Journalisten denen hier vorgeworfen wird, vorschnell Kausalzusammenhaenge festzustellen.

    1. blutfink

      Dieser Schluss ist nicht zwingend. Wenn A und B positiv korrelieren, ist das entweder (1) Zufall, oder (2) A begünstigt B, oder (3) B begünstigt A, oder (4) es gibt ein C, das gemeinsames Auftreten von A und B begünstigt. Es ist lehrreich, sich bei jeder Korrelation eine Theorie zu jedem der vier Fälle auszudenken.

    2. George

      Möglich – aber es folgt nicht (und schon gar nicht zwingend) aus den Zahlen.

      – Zunächst einmal kennen wir den Wert für die Computerspieler nicht. (Nur den für die, die explizit angeben NICHT zu spielen). Damit wissen wir auch nicht, ob er über oder unter dem Mittel läge
      – Selbst wenn wir es wüssten (etwa wenn dort stünde „unter denjenigen, die Computerspiele als Hobby angaben waren es nur 20%) wissen wir immer noch nicht viel über einen kausalen Zusammenang, da Computerspieler durchaus einer Gruppe angehören könnten, die im allgemeinen eher selten Zahnseide nutzt (spontan würden mir da „junge Männer“ einfallen) – sie innerhalb ihrer Gruppe aber sogar überdurchschnittlich häufig Zahnseide nutzen

      Aber genau das ist halt so oft das Problem mit epidemiologischen Studien. Man findet so schnell und leicht Dinge, die unglaublich plausibel klingen… 😉

  2. Walter Thälert

    Punkt 1: Korrelation ist nicht zwingend Zufall, auch wenn der Kausalzusammenhang komplizierter ist. Mit dem Aufkommen von Störchen steigt zum Beispiel die Geburtenrate. Das heißt aber nicht, dass Störche Kinder bringen, sondern es handelt sich um eine Scheinkorrelation: die dahinter liegende Ursache ist ein Stadt-Land-Gefälle sowohl im Storchenaufkommen, als auch in der Geburtenrate. Anderes Beispiel: Einkommen steigt mit Schuhgröße. Der Zusammenhang wird durch den Geschlechtereffekt auf Einkommen kausal schlüssig. Bei solchen Ergebnissen wie oben handelt es sich oft nicht um Zufall, sondern um Scheinkorrelationen.

    Punkt 3: Ausreißer sind das, wonach es sich anhört: Ausreißer. Man braucht zwar einen guten Grund, um etwas als Ausreißer zu klassifizieren, dann ist deren Weglassen aber durchaus legitim. Man bezeichnet das dann auch als „einflussreiche Datenpunkte“ (also Fälle, die das Ergebnis stärker als erwartet beeinflussen) und befasst sich durchaus mit deren Entstehung (zumindest sollte man das). Mir scheint Ihr Beispiel eher geeignet, ein viel wichtigeres Phänomen zu beschreiben: das der Selektivität von Stichproben. Wenn ich z.B. in einem Websurvey frage, ob Menschen finden, dass Computerspieler gewalttätig sind und sich zu selten waschen, werde ich sicherlich andere Ergebnisse bekommen, als wenn ich das gleiche via Telefoninterview mit Festnetz-Stichprobe frage (da Festnetzanschlüsse bei jüngeren Menschen zwischen 20 und 30 viel weniger stark verbreitet sind, als bei älteren, gleichzeitig aber der Zugang zum Internet und die Affinität zu Computerspielen auch vom Alter beeinflusst wird). Die Oma in Ihrem Beispiel hat also schlichtweg ein Selektivitätsproblem. Oft sieht man das bei Studien zu MigrantInnen, da die in quasi allen Surveys unterrepräsentiert sind.
    Dazu kommt das Problem sozialer Erwünschtheit: Surveys als Messungen sind nicht objektiv. Der Vater/die Mutter antwortet sozial erwünscht, indem er antizipiert, was Oma hören will und was passiert, wenn er/sie anders antwortet (die Kinder hätten das vielleicht nicht getan). Ergänzen sich Selektivität und Messfehler wie soziale Erwünschtheit, wird’s ganz problematisch.
    Man muss also noch ein bisschen mehr über die Entstehungsbedingungen von Daten wissen, um über die Qualität der daraus abgeleiteten Aussagen urteilen zu können.

    1. Rico Grimm

      Vielen Dank für Ihren Kommentar!

      Punkt 1: Das stimmt schon. Ich wollte es aber nicht zu kompliziert machen. Denn im Ergebnis ist es egal, ob es sich um eine Scheinkorrelation handelt oder um Zufall. Zunächst sind beide Variablen nicht miteinander verbunden.

      Punkt 2: Ja. Es handelt sich tatsächlich um eine selektive Auswahl. Weniger um einen Ausreißer. Ich werde die Passage noch ergänzen.

  3. JensE

    Mr. Dent (Arhur? :oD)

    Zu Punkt 1: Korrelation ist natürlich keineswegs immer auch Kausalität. Korrelation kann aber immer auch ein Zufall sein.

    Nimm doch einfach mal den Fakt, dass die Storch-Population in Deutschland viele Jahre mit der Geburtenrate der Deutschen korrelierte. Dann könnte das nach deiner Aussage kein Zufall sein, dass die Kinder von den Störchen gebracht werden. Ich bitte Dich. :o)

    Ich glaube, das sollte selbst Dir einleuchten, warum das zwei Ereignisse sind, die hier nur zufällig korrelieren.

  4. Fabian

    Zu Punkt 2: Repräsentativität bedeutet keineswegs immer, dass man auch eine gute Studie vor sich hat! Häufig finden fragwürdige Auswahlmethoden statt, die nur zu einer Scheinrepräsentativität kommen (z. B. die oben erwähnten Online-Umfragen, die häufig mit Panels von Personen arbeiten, die incentives für die Teilnahme an möglichst vielen Umfragen bekommen). Man muss also schon genauer hinschauen, als nur auf das Label Repräsentativität. Daneben sind qualitative Studien häufig für eine Fragestellung deutlich sinnvoller und haben mehr Erklärungskraft, solche Studien wollen und können aber keine Repräsentativität erreichen.

  5. Michael Krieg

    4. Frage:
    Versteht der Journalist die Studie überhaupt oder sucht er sich nur die wörter heraus, die er kennt? Bitte nicht persönlich nehmen aber viele Fachstudien sind eben fürs Fachpersonal gemacht,

  6. Joachim Hoss

    Netter Artikel.
    Darf ich Euch ein Buch ans Herz legen? „Bad Science“ von Ben Goldacre (auf Deutsch sehr unglücklich übersetzt mit „Die Wissenschaftslüge“).
    Der Autor, selber studierter Mediziner und Kolumnist von The Guardian beleuchtet, neben anderen, sehr interessanten Themen, das Verhältnis zwischen Journalismus und Wissenschaft. Sieht nicht sehr gut für die Journalisten, oder besser die Presse als ganzes aus.
    Besonders als er die Beispiele MRSA, MMR-Impfung vs. Autismus und Contergan beleuchtet steht die Presselandschaft katastrophal da.

    Zum Thema Korrelation und Kausalität:
    Die Zahl der Störche und der menschlichen Geburtenrate korreliert sicherlich nur zufällig, aber auch ein angenommener kausaler Zusammenhang muss nicht lauten: „Die Störche bringen die Babys“.
    Ein anderes Beispiel (aus besagtem Buch) aus Großbritannien: Schüler mit längeren Bücherregalen, haben bessere Schulnoten.

    Und ein anekdotisches Beispiel zum Verständnis, bzw. Desinteresse an den wirklichen Ergebnissen von Studien aus ebenjenem Buch:
    In Australien wurde eine große Studie zur Überlebensrate von „austherapierten“ Krebspatienten mit einer mittleren Überlebenswahrscheinlichkeit von fünf (?) Jahren gemacht. Ergebnis, nach fünf Jahren hatten mehr Patienten überlebt, als die Statistik vorschreibt, unabhängig davon, was die Patienten während der Studiendauer gemacht hatten um mit Ihrem Krebs umzugehen, ob sie „alternative Therapien“ versucht hatten, oder nicht.

    Ergebnis der Studie laut journalistischer Berichterstattung: „Studie beweist, Wundermittel helfen gegen Krebs!“

    (Alles aus dem Gedächtnis, schlagt mich, nicht den Autor des Buches, falls es Unsinn sein sollte.)

  7. user unknown

    Ich verstehe die Aussage nicht:

    Nur 27 Prozent aller Menschen benutzen regelmäßig Zahnseide. Aber unter denjenigen, die zusätzlich angaben, keine Computerspiele zu spielen, waren es 40 Prozent.

    Wer zusätzlich angibt am Computer zu spielen, der hat ja schon Zahnseidengebrauch eingeräumt – da müssen es also 100% sein. Oder zusätzlich zu was?

    Wenn das Wort „zusätzlich“ nur widersinnig reingerutscht ist in den Text, bleibt, dass Videospielkonsum nicht zu weniger Zahnseidengebrauch führt – schon deswegen nicht, weil 40% mehr ist als 27%.

    1. Christoph Stahl

      Ist der Kommentar Ihr Ernst ?
      „weil 40% mehr ist als 27%“ … Bitte nochmal Prozentrechnen üben.
      Zur Sinnhaftigkeit des Satzes anhand eines Beispiels:
      1000 Leute wurden gefragt. 270 benutzen Zahnseide.
      Nehmen wir an 600 haben angegeben keine Computerspiele zu spielen, so benutzen hierbei 240 Zahnseide.

  8. schneekatz

    Ich finde es komisch, dass dieser Artikel einseitig die Wissenschaftler als die „bösen“ darstellt. Was ich bisher viel eher erlebt habe ist, das Journalisten in Studien viel mehr reininterpretiert haben, als wirklich drin steht. Dann wird aus „einer möglichen Wirkung auf Krebszellen“ das neue „Krebsmedikament“ etc.

    Wo ich zustimmen würde ist, dass man den Pressemitteilungen der Universitäten nie trauen sollte. Denn dort ist schon eben jener zuvor genannte Sprung gemacht worden – Pressemitteilungen sind am Ende doch nur PR seitens der Uni.

    Zum Schluss gilt: Wenn man nicht im Thema drin steckt, sollte man mit mindestens einem Fachvertreter sprechen. Aber bitte nicht wahllos Professoren anrufen, sondern wirklich Leute, die in dem Feld publiziert haben.

  9. Dietrich

    Nette Tipps – aber die naheliegende journalistische Frage ist doch: Warum wurde diese Studie verfasst?

    Wissenschaftler sind keine Automaten die Erkenntnis produzieren. Der viel zitierte „Elfenbeinturm“ ist eher ein Basar der Profilierungen und Fördergelder, auf dem es zu bestehen gilt. Wissenschaftliche Studien sind i.d.R für ein spezielles Publikum geschrieben, welches die Ergebnisse anders einordnet als Außenstehende (Was ist methodisch neu? Decken sich die Ergebnisse mit andern, …). Hilfreich ist, das genaue Ziel bzw. die zugrunde liegende Fragestellung herauszubekommen – generische Fragen dafür sind:
    * Soll die Tauglichkeit einer Methode für eine spezielle Anwendung demonstriert werden?
    * Wird ein enger Teilaspekt eines größeren Komplexes untersucht?
    * Soll Struktur in ein bisher unbekanntes Gebiet gebracht werden?
    * …
    Da Klappern zum Geschäft gehört, wird bei der allgemeinen Einordnung (der Teil, den die Allgemeinheit interessiert und der bei der Bewertung der wissenschaftlichen Ergebnisse häufig wenig relevant ist) oft dicker aufgetragen, als es angebracht wäre. Ferner sollte nicht vergessen werden, dass Studien immer auch Ergebnisberichte von durchgeführten Arbeiten sind, so dass die Verfasser sich immer ein gutes Licht rücken müssen.

  10. Oli

    Ich finde nicht, dass es primär Aufgabe von Journalisten ist, die Plausibilität einer möglichen Kausalrelation zu beurteilen. Im Gegenteil, ich finde das sogar anmassend. Unabhängig davon, ob eine Studie gut oder schlampig durchgeführt wurde, so hat der Autor oder das Autorenteam doch viel Zeit damit verbracht und sich viel dazu überlegt. Ein Journalist, der möglichweise über gar kein fundiertes Wissen verfügt, kann eine Studie gar nicht bewerten.

    Nehmen wir das Beispiel mit der Zahnseide. Es ist möglich, dass diese Korrelation Zufall ist. Aber es ist auch möglich, dass Gamer Hygiene und Gesundheit grundsätzlich stärker vernachlässigen als andere. Um dies zu beurteilen braucht es nicht die Kritik eines Journalisten, sondern eine weitere Studie.

Schreibe einen Kommentar zu Rico Grimm Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht.