Kapitel 11: Ursachen, Zusammenhänge, Gruppen
Angenommen, eine Erhebung zeigt: Menschen, die regelmäßig ein teures Sportgetränk kaufen, trainieren häufiger und haben im Durchschnitt weniger Körperfett. Daraus lässt sich nicht ableiten, dass das Getränk den Unterschied verursacht.
Vielleicht kaufen besonders engagierte Sportler häufiger entsprechende Produkte. Vielleicht unterscheiden sich die Gruppen in Einkommen, Ernährung, Schlaf oder Sporterfahrung. Ein solcher zusätzlicher Einfluss heißt Confounder, auf Deutsch häufig Störfaktor. Außerdem könnte die Richtung umgekehrt sein: Das intensive Sportverhalten beeinflusst den Produktkauf.
Ein Trainer kann diese Unterscheidung im eigenen Alltag üben. Ein Kunde verbessert sich nach einem Planwechsel. Gleichzeitig hat er seinen Schlaf verlängert, trainiert regelmäßiger und sich von einer Infektion erholt. Die Beobachtung „nach dem Planwechsel besser“ ist korrekt. Die Aussage „wegen dieser einen Übungsänderung besser“ ist wesentlich stärker und durch die Beobachtung allein nicht belegt.
Das macht praktische Erfahrung nicht wertlos. Erfahrung hilft, Muster wahrzunehmen und Fragen zu stellen. Sie wird belastbarer, wenn mögliche alternative Erklärungen systematisch berücksichtigt werden.
Der Vergleich zwischen Gruppen entscheidet
Betrachte einen erfundenen Trainingsversuch. Gruppe A verbessert ihren Krafttest im Mittel von 60 auf 70 kg. Gruppe B verbessert sich von 60 auf 66 kg. Innerhalb von A beträgt die Veränderung 10 kg, innerhalb von B 6 kg. Die Differenz der Veränderungen beträgt 4 kg.
Wenn der Studienbericht nur die 10 kg aus Gruppe A hervorhebt, fehlen die 6 kg, die auch unter der Vergleichsbedingung erreicht wurden. Die Frage nach einem zusätzlichen Vorteil der Methode betrifft hier die 4 kg. Ob dieser Unterschied zuverlässig und praktisch bedeutsam ist, erfordert weitere Angaben.
Noch irreführender ist die Schlussfolgerung: „A war statistisch signifikant verbessert, B nicht; also ist A besser als B.“ Zwei getrennte Prüfungen innerhalb der Gruppen sind kein Ersatz für den direkten Vergleich des Gruppenunterschieds. Ein Unterschied zwischen einem auffälligen und einem unauffälligen Testergebnis ist nicht automatisch selbst ein statistisch gesicherter Unterschied.
Für die Praxis lautet die Übersetzung: Schau nach, was im Vergleich tatsächlich zusätzlich erreicht wurde. Der glänzendste Vorher-Nachher-Wert allein ist kein fairer Maßstab.