Im Bortz/Döring (2006) steht, dass Untersuchungen schlecht sind, wenn sie eine geringe Teststärke haben, weil dann, wenn die H1 gilt, die H0 nur mit geringer Wahrscheinlichkeit verworfen wird.
Soweit so gut. Wenn jetzt aber eine Untersuchung trotz schlechter Teststärke zu einem signifikanten Ergebnis führt, ist doch die Studie an sich nicht als schlecht zu bewerten, denn sie hat es sozusagen trotz wirdriger Umstände geschafft, signifikant zu werden. Oder sehe ich das falsch?
Im Bortz/Döring (2006) steht, dass Untersuchungen schlecht sind,
wenn sie eine geringe Teststärke haben, weil dann, wenn die H1 gilt,
die H0 nur mit geringer Wahrscheinlichkeit verworfen wird.
Schlecht ist die Untersuchung nicht, aber man muss sich vor Augen halten, dass immer nur die H0 verworfen werden kann, aber nicht bestätigt. also liegt es im Interesse der Untersucher, H0 zu verwerfen. Wenn die Teststärke (oder die power) gering ist, hat man eben nur eine kleiner Chance, dass die Studie erfolgreich verläuft. Das ist dann nicht per se schlecht, aber meistens Verschwendung von Arbeistzeit, Geld und anderen Ressourcen.
Soweit so gut. Wenn jetzt aber eine Untersuchung trotz schlechter
Teststärke zu einem signifikanten Ergebnis führt, ist doch die
Studie an sich nicht als schlecht zu bewerten, denn sie hat es
sozusagen trotz wirdriger Umstände geschafft, signifikant zu werden.
Oder sehe ich das falsch?
Das siehst du richtig. Man hat eben Glück gehabt. Wenn die power nur 10% beträgt, hat man ja im Schnitt in 10% der Studien trotzdem ein Ergebnis, dass man die H0 ablehnen kann.
Dennoch sollte man sich über das Studiendesign Gedanken machen.
Eine Studie mit geringer Power ist schlecht. Unabhängig vom Ergebnis. Diese Aussage beruht auf der Statistik. Zu oft würden derartige Studien den Effekt nicht finden.
Nun macht man aber i.d.R. nicht selbst viele solche Studien, sondern eben nur eine, und die hat ein Ergebnis. Wenn das Ergebnis (bei tatsächlich vorhandenem Effekt) signifikant ist, dann ist das den Daten zu verdanken und nicht der Studie!
denn sie hat es sozusagen trotz wirdriger Umstände geschafft,
signifikant zu werden. Oder sehe ich das falsch?
In diesem speziellen Fall (der definitionsgemäßß untypisch ist, wei die Power ja klein war!) waren die besonderen Umstände gerade alles andere als widrig: Sie waren unwahrscheinlich günstig.
Ich würde eine verrottete Nußschale auch nicht als „gutes Boot“ bezeichnen, weil es mich einmal trocken über den Fluß gebracht hat. Das klappte nur, weil Strömung, Wind und Wetter günstiger waren als üblich. Ich könnte also sagen, dass die Umstände gut waren, so dass ich es sogar mit einem schlechten Boot ans andere Ufer schaffen konnte.