Die Publikationsmaschine
Diese Simulation untersucht, wie aus einzelnen publizierten Studien ein Gesamtbild auf ein untersuchtes Feld entsteht. Oben siehst du von links nach rechts 10 untersuchte Effekte:
- Graue Balken im Hintergrund: Die wahren Effekte.
- Rote Balken im Vordergrund: Die gemessenen Effekte gemäss Stand der publizierten Studien.
- Jedes Quadrat unter den Balken steht für eine Studie. Klicke auf das Quadrat, um genaue Informationen zu erhalten.
Gleich darunter siehst du, wie gut das Modell die wahren Verhältnisse abbildet: Wie präzise die Einzelwerte geschätzt werden und ob die Abfolge korrekt wiedergegeben wird.
Die Simulation lässt dich verschiedene Dinge einstellen, welche den Prozess beeinflussen. Zum Beispiel, nach welcher Strategie Studien durchgeführt werden und ob nichtsignifikante Resultate publiziert werden oder nicht. Du kannst auch einstellen, wie die wahren Effekte aussehen und wie viele Proband*innen total untersucht werden.
Ein nicht ganz intuitiver Parameter sind die Outcomes. Eine Studie mit einem Outcome misst nur eine Zielvariable, zum Beispiel Kopfschmerzen. Nun kann man natürlich noch andere Dinge messen, zum Beispiel Konzentrationsfähigkeit. Das verbessert einerseits die Aussagekraft der Studie, erhöht aber auch das Risiko, dass eines der Outcomes zufällig signifikant wird. Wenn absichtlich sehr viele Outcomes gemessen werden, um eine zufällige Signifikanz zu erhalten, spricht man von "p-Hacking".