(Deutsch) 3 Fragen, die sich Journalisten stellen sollten, wenn sie eine wissenschaftliche Studie lesen

Thursday August 29th, 2013 @ 05:07 PM

Sorry, this entry is only available in German.

24 Comments on "(Deutsch) 3 Fragen, die sich Journalisten stellen sollten, wenn sie eine wissenschaftliche Studie lesen"

  1. DIY Biogarage (@biogarage)

    #Kahneman #system1 S. 248:
    “Das menschliche Gehirn beschäftigt sich nicht mit Nichtereignissen” also mit (mehreren!) Ereignissen, die recht wahrscheinlich waren, jedoch per Zufall nicht eingetroffen sind und dem Verlauf eine vollkommen andere Wendung gegeben hätten”

  2. Dr. Dent

    Zu Punkt 1: Korrelation ist nicht Kausalitat, aber auch kein Zufall! Also muss der der Schluss aus dieser Studie lauten: Menschen die am Computer spielen, achten im Mittel weniger auf ihre Zahngesundheit. Dieses Ergebnis ueberrascht mich dann auch ueberhaupt nicht, wenn ich mir die Bilder der pubertieren Durchschnittsbesucher der letzten Gamescom in Erinnerung rufe.

    1. Rico Grimm

      Keine abgegriffenen Klischees über Gamer bitte.

      Denn die Seite correlated.org ist nicht ernst gemeint. Die Ergebnisse dort sind nicht repräsentativ und rein zufällig. Schauen Sie sich die Seite mal an.

      1. Dr. Dent

        Tschuldingung an alle Gamer! Aber auch wenn die Seite correlated.org nicht ernst gemein ist, so stammen die Daten doch aus einer echten Umfrage. Also so einfach zu behaupten, die Korrelation sei Zufall, bedeutet fuer mich den gleiche Fehler zu begehen, wie die Journalisten denen hier vorgeworfen wird, vorschnell Kausalzusammenhaenge festzustellen.

    2. blutfink

      Dieser Schluss ist nicht zwingend. Wenn A und B positiv korrelieren, ist das entweder (1) Zufall, oder (2) A begünstigt B, oder (3) B begünstigt A, oder (4) es gibt ein C, das gemeinsames Auftreten von A und B begünstigt. Es ist lehrreich, sich bei jeder Korrelation eine Theorie zu jedem der vier Fälle auszudenken.

    3. George

      Möglich – aber es folgt nicht (und schon gar nicht zwingend) aus den Zahlen.

      – Zunächst einmal kennen wir den Wert für die Computerspieler nicht. (Nur den für die, die explizit angeben NICHT zu spielen). Damit wissen wir auch nicht, ob er über oder unter dem Mittel läge
      – Selbst wenn wir es wüssten (etwa wenn dort stünde “unter denjenigen, die Computerspiele als Hobby angaben waren es nur 20%) wissen wir immer noch nicht viel über einen kausalen Zusammenang, da Computerspieler durchaus einer Gruppe angehören könnten, die im allgemeinen eher selten Zahnseide nutzt (spontan würden mir da “junge Männer” einfallen) – sie innerhalb ihrer Gruppe aber sogar überdurchschnittlich häufig Zahnseide nutzen

      Aber genau das ist halt so oft das Problem mit epidemiologischen Studien. Man findet so schnell und leicht Dinge, die unglaublich plausibel klingen… 😉

  3. Walter Thälert

    Punkt 1: Korrelation ist nicht zwingend Zufall, auch wenn der Kausalzusammenhang komplizierter ist. Mit dem Aufkommen von Störchen steigt zum Beispiel die Geburtenrate. Das heißt aber nicht, dass Störche Kinder bringen, sondern es handelt sich um eine Scheinkorrelation: die dahinter liegende Ursache ist ein Stadt-Land-Gefälle sowohl im Storchenaufkommen, als auch in der Geburtenrate. Anderes Beispiel: Einkommen steigt mit Schuhgröße. Der Zusammenhang wird durch den Geschlechtereffekt auf Einkommen kausal schlüssig. Bei solchen Ergebnissen wie oben handelt es sich oft nicht um Zufall, sondern um Scheinkorrelationen.

    Punkt 3: Ausreißer sind das, wonach es sich anhört: Ausreißer. Man braucht zwar einen guten Grund, um etwas als Ausreißer zu klassifizieren, dann ist deren Weglassen aber durchaus legitim. Man bezeichnet das dann auch als “einflussreiche Datenpunkte” (also Fälle, die das Ergebnis stärker als erwartet beeinflussen) und befasst sich durchaus mit deren Entstehung (zumindest sollte man das). Mir scheint Ihr Beispiel eher geeignet, ein viel wichtigeres Phänomen zu beschreiben: das der Selektivität von Stichproben. Wenn ich z.B. in einem Websurvey frage, ob Menschen finden, dass Computerspieler gewalttätig sind und sich zu selten waschen, werde ich sicherlich andere Ergebnisse bekommen, als wenn ich das gleiche via Telefoninterview mit Festnetz-Stichprobe frage (da Festnetzanschlüsse bei jüngeren Menschen zwischen 20 und 30 viel weniger stark verbreitet sind, als bei älteren, gleichzeitig aber der Zugang zum Internet und die Affinität zu Computerspielen auch vom Alter beeinflusst wird). Die Oma in Ihrem Beispiel hat also schlichtweg ein Selektivitätsproblem. Oft sieht man das bei Studien zu MigrantInnen, da die in quasi allen Surveys unterrepräsentiert sind.
    Dazu kommt das Problem sozialer Erwünschtheit: Surveys als Messungen sind nicht objektiv. Der Vater/die Mutter antwortet sozial erwünscht, indem er antizipiert, was Oma hören will und was passiert, wenn er/sie anders antwortet (die Kinder hätten das vielleicht nicht getan). Ergänzen sich Selektivität und Messfehler wie soziale Erwünschtheit, wird’s ganz problematisch.
    Man muss also noch ein bisschen mehr über die Entstehungsbedingungen von Daten wissen, um über die Qualität der daraus abgeleiteten Aussagen urteilen zu können.

    1. Rico Grimm

      Vielen Dank für Ihren Kommentar!

      Punkt 1: Das stimmt schon. Ich wollte es aber nicht zu kompliziert machen. Denn im Ergebnis ist es egal, ob es sich um eine Scheinkorrelation handelt oder um Zufall. Zunächst sind beide Variablen nicht miteinander verbunden.

      Punkt 2: Ja. Es handelt sich tatsächlich um eine selektive Auswahl. Weniger um einen Ausreißer. Ich werde die Passage noch ergänzen.

  4. JensE

    Mr. Dent (Arhur? :oD)

    Zu Punkt 1: Korrelation ist natürlich keineswegs immer auch Kausalität. Korrelation kann aber immer auch ein Zufall sein.

    Nimm doch einfach mal den Fakt, dass die Storch-Population in Deutschland viele Jahre mit der Geburtenrate der Deutschen korrelierte. Dann könnte das nach deiner Aussage kein Zufall sein, dass die Kinder von den Störchen gebracht werden. Ich bitte Dich. :o)

    Ich glaube, das sollte selbst Dir einleuchten, warum das zwei Ereignisse sind, die hier nur zufällig korrelieren.

  5. Fabian

    Zu Punkt 2: Repräsentativität bedeutet keineswegs immer, dass man auch eine gute Studie vor sich hat! Häufig finden fragwürdige Auswahlmethoden statt, die nur zu einer Scheinrepräsentativität kommen (z. B. die oben erwähnten Online-Umfragen, die häufig mit Panels von Personen arbeiten, die incentives für die Teilnahme an möglichst vielen Umfragen bekommen). Man muss also schon genauer hinschauen, als nur auf das Label Repräsentativität. Daneben sind qualitative Studien häufig für eine Fragestellung deutlich sinnvoller und haben mehr Erklärungskraft, solche Studien wollen und können aber keine Repräsentativität erreichen.

  6. Michael Krieg

    4. Frage:
    Versteht der Journalist die Studie überhaupt oder sucht er sich nur die wörter heraus, die er kennt? Bitte nicht persönlich nehmen aber viele Fachstudien sind eben fürs Fachpersonal gemacht,

  7. Joachim Hoss

    Netter Artikel.
    Darf ich Euch ein Buch ans Herz legen? “Bad Science” von Ben Goldacre (auf Deutsch sehr unglücklich übersetzt mit “Die Wissenschaftslüge”).
    Der Autor, selber studierter Mediziner und Kolumnist von The Guardian beleuchtet, neben anderen, sehr interessanten Themen, das Verhältnis zwischen Journalismus und Wissenschaft. Sieht nicht sehr gut für die Journalisten, oder besser die Presse als ganzes aus.
    Besonders als er die Beispiele MRSA, MMR-Impfung vs. Autismus und Contergan beleuchtet steht die Presselandschaft katastrophal da.

    Zum Thema Korrelation und Kausalität:
    Die Zahl der Störche und der menschlichen Geburtenrate korreliert sicherlich nur zufällig, aber auch ein angenommener kausaler Zusammenhang muss nicht lauten: “Die Störche bringen die Babys”.
    Ein anderes Beispiel (aus besagtem Buch) aus Großbritannien: Schüler mit längeren Bücherregalen, haben bessere Schulnoten.

    Und ein anekdotisches Beispiel zum Verständnis, bzw. Desinteresse an den wirklichen Ergebnissen von Studien aus ebenjenem Buch:
    In Australien wurde eine große Studie zur Überlebensrate von “austherapierten” Krebspatienten mit einer mittleren Überlebenswahrscheinlichkeit von fünf (?) Jahren gemacht. Ergebnis, nach fünf Jahren hatten mehr Patienten überlebt, als die Statistik vorschreibt, unabhängig davon, was die Patienten während der Studiendauer gemacht hatten um mit Ihrem Krebs umzugehen, ob sie “alternative Therapien” versucht hatten, oder nicht.

    Ergebnis der Studie laut journalistischer Berichterstattung: “Studie beweist, Wundermittel helfen gegen Krebs!”

    (Alles aus dem Gedächtnis, schlagt mich, nicht den Autor des Buches, falls es Unsinn sein sollte.)

  8. user unknown

    Ich verstehe die Aussage nicht:

    Nur 27 Prozent aller Menschen benutzen regelmäßig Zahnseide. Aber unter denjenigen, die zusätzlich angaben, keine Computerspiele zu spielen, waren es 40 Prozent.

    Wer zusätzlich angibt am Computer zu spielen, der hat ja schon Zahnseidengebrauch eingeräumt – da müssen es also 100% sein. Oder zusätzlich zu was?

    Wenn das Wort “zusätzlich” nur widersinnig reingerutscht ist in den Text, bleibt, dass Videospielkonsum nicht zu weniger Zahnseidengebrauch führt – schon deswegen nicht, weil 40% mehr ist als 27%.

    1. Christoph Stahl

      Ist der Kommentar Ihr Ernst ?
      “weil 40% mehr ist als 27%” … Bitte nochmal Prozentrechnen üben.
      Zur Sinnhaftigkeit des Satzes anhand eines Beispiels:
      1000 Leute wurden gefragt. 270 benutzen Zahnseide.
      Nehmen wir an 600 haben angegeben keine Computerspiele zu spielen, so benutzen hierbei 240 Zahnseide.

  9. schneekatz

    Ich finde es komisch, dass dieser Artikel einseitig die Wissenschaftler als die “bösen” darstellt. Was ich bisher viel eher erlebt habe ist, das Journalisten in Studien viel mehr reininterpretiert haben, als wirklich drin steht. Dann wird aus “einer möglichen Wirkung auf Krebszellen” das neue “Krebsmedikament” etc.

    Wo ich zustimmen würde ist, dass man den Pressemitteilungen der Universitäten nie trauen sollte. Denn dort ist schon eben jener zuvor genannte Sprung gemacht worden – Pressemitteilungen sind am Ende doch nur PR seitens der Uni.

    Zum Schluss gilt: Wenn man nicht im Thema drin steckt, sollte man mit mindestens einem Fachvertreter sprechen. Aber bitte nicht wahllos Professoren anrufen, sondern wirklich Leute, die in dem Feld publiziert haben.

  10. Dietrich

    Nette Tipps – aber die naheliegende journalistische Frage ist doch: Warum wurde diese Studie verfasst?

    Wissenschaftler sind keine Automaten die Erkenntnis produzieren. Der viel zitierte “Elfenbeinturm” ist eher ein Basar der Profilierungen und Fördergelder, auf dem es zu bestehen gilt. Wissenschaftliche Studien sind i.d.R für ein spezielles Publikum geschrieben, welches die Ergebnisse anders einordnet als Außenstehende (Was ist methodisch neu? Decken sich die Ergebnisse mit andern, …). Hilfreich ist, das genaue Ziel bzw. die zugrunde liegende Fragestellung herauszubekommen – generische Fragen dafür sind:
    * Soll die Tauglichkeit einer Methode für eine spezielle Anwendung demonstriert werden?
    * Wird ein enger Teilaspekt eines größeren Komplexes untersucht?
    * Soll Struktur in ein bisher unbekanntes Gebiet gebracht werden?
    * …
    Da Klappern zum Geschäft gehört, wird bei der allgemeinen Einordnung (der Teil, den die Allgemeinheit interessiert und der bei der Bewertung der wissenschaftlichen Ergebnisse häufig wenig relevant ist) oft dicker aufgetragen, als es angebracht wäre. Ferner sollte nicht vergessen werden, dass Studien immer auch Ergebnisberichte von durchgeführten Arbeiten sind, so dass die Verfasser sich immer ein gutes Licht rücken müssen.

  11. Oli

    Ich finde nicht, dass es primär Aufgabe von Journalisten ist, die Plausibilität einer möglichen Kausalrelation zu beurteilen. Im Gegenteil, ich finde das sogar anmassend. Unabhängig davon, ob eine Studie gut oder schlampig durchgeführt wurde, so hat der Autor oder das Autorenteam doch viel Zeit damit verbracht und sich viel dazu überlegt. Ein Journalist, der möglichweise über gar kein fundiertes Wissen verfügt, kann eine Studie gar nicht bewerten.

    Nehmen wir das Beispiel mit der Zahnseide. Es ist möglich, dass diese Korrelation Zufall ist. Aber es ist auch möglich, dass Gamer Hygiene und Gesundheit grundsätzlich stärker vernachlässigen als andere. Um dies zu beurteilen braucht es nicht die Kritik eines Journalisten, sondern eine weitere Studie.

Leave a Reply to Dr. Dent Cancel reply

Your email address will not be published.