Kapitel 13: Statistik und praktische Bedeutung
Ein Punktschätzer ist eine einzelne Zahl, etwa eine geschätzte mittlere Differenz von 4 kg. Ein Konfidenzintervall verdeutlicht die statistische Unsicherheit dieser Schätzung. Ein breiter Bereich zeigt, dass die Daten mit deutlich verschiedenen Effektgrößen vereinbar sind. Die Interpretation setzt voraus, dass das verwendete Modell und seine Annahmen angemessen sind.
Ein frequentistisches 95-Prozent-Konfidenzintervall bedeutet nicht einfach, dass für das nach der Messung berechnete Intervall eine 95-prozentige Wahrscheinlichkeit für den festen wahren Wert bewiesen wäre. Die 95 Prozent beziehen sich auf die langfristige Überdeckung durch das Verfahren bei wiederholter Anwendung. Für die praktische Lektüre genügt zunächst: Punktwert und Unsicherheitsbereich werden gemeinsam gelesen.
Der p-Wert beschreibt unter einer festgelegten Nullhypothese und weiteren Modellannahmen, wie ungewöhnlich die beobachteten oder extremeren Daten wären. Er ist weder die Wahrscheinlichkeit, dass die Nullhypothese wahr ist, noch ein Maß für die Größe oder Nützlichkeit des Effekts. Ein kleiner p-Wert macht einen winzigen Effekt nicht groß. Ein großer p-Wert beweist umgekehrt keine vollständige Wirkungslosigkeit.
Ein Programm kann in einer großen Untersuchung einen sehr kleinen durchschnittlichen Vorteil zeigen. Ob der Vorteil für einen Kunden bedeutsam ist, hängt davon ab, was er erreichen möchte und welchen zusätzlichen Aufwand er dafür betreiben müsste.
Angenommen, ein Verfahren verbessert einen Testwert geringfügig, verlängert aber jede Einheit um eine halbe Stunde. Für einen Athleten mit einem sehr speziellen Leistungsziel kann dieser Tausch sinnvoll sein. Für einen Anfänger, der zwischen Beruf und Familie zwei Einheiten unterbringen möchte, kann eine einfachere Lösung besser passen.
Praktische Relevanz wird deshalb nicht ausschließlich an einer Zahl festgemacht. Sie verbindet Effekt, Unsicherheit, Zeit, Aufwand, Belastung, Vorlieben und mögliche Nachteile. Eine fachlich überzeugende Empfehlung erklärt diesen Zusammenhang, anstatt sich auf das Wort „signifikant“ zu beschränken.