folgender Fall: In einer explorativen(!) Studie sind Gruppenmittelwerte verglichen worden. Als Maß für die Evidenz von Unterschieden sind p-Werte anhand der t-Verteilung berechnet. Es wird keine(!) Klassifikation in „signifikant“ und „nicht-signifikant“ vorgenommen.
Ist es sinnvoll, hier überhaupt von Typ-I-Fehlern zu sprechen? Kann man bei multiplen Vergleichen von (Typ-I-)Fehlerinflation sprechen? Müssen diese p-Werte bei multiplen Vergleichen korrigiert werden?
Weiter: Wenn es eine globale Hypothese gibt (H0: alle µ sind gleich), ist es nicht auch legitim, die Evidenz dagegen als p-Wert einer ANOVA anzugeben und die p-Werte der paarweisen Vergleiche anzugeben, ohne Korrektur für multiples Testen?
folgender Fall: In einer explorativen(!) Studie sind
Gruppenmittelwerte verglichen worden. Als Maß für die Evidenz
von Unterschieden sind p-Werte anhand der t-Verteilung
berechnet. Es wird keine(!) Klassifikation in „signifikant“
und „nicht-signifikant“ vorgenommen.
Ist es sinnvoll, hier überhaupt von Typ-I-Fehlern zu sprechen?
Kann man bei multiplen Vergleichen von (Typ-I-)Fehlerinflation
sprechen?
Wenn du dir keinen Typ-I Fehler vorgibst, kannst du ihn auch nicht begehen. Anders herum kann er auch nicht inflationieren. Damit hast du dann aber keine Aussage. Nur p-Werte ohne sig-niveau - dann kannst du auch einfach nur die Mittelwerte angeben.
Müssen diese p-Werte bei multiplen Vergleichen
korrigiert werden?
Schaden kannn es nicht. die meisten Leser werden (unbewusst) 5% fehler ansetzen und dann doch eine Klassifikation vornehmen, wie oben beschrieben. Für den Fall hättest du dann schon vorgesorgt.
Weiter: Wenn es eine globale Hypothese gibt (H0: alle µ sind
gleich), ist es nicht auch legitim, die Evidenz dagegen als
p-Wert einer ANOVA anzugeben und die p-Werte der paarweisen
Vergleiche anzugeben, ohne Korrektur für multiples Testen?
Komtm drauf an, was du zeigen willst. Zielt es darauf ab nachzuweisen ob ein Faktor einen Einfluss hat, reicht die Globalhypothese und du kannst dir die paarweisen Vergleiche schenken. Interessieren Kontraste innerhalb des Faktors, kannst du dir die Globalhypothese sparen und nur die adj. p’s ansehen.
Bei solchen Sachen tritt kann das Phänomen der Konsistenz auftreten: Auch wenn die Globalhypothese {sig. / nicht sig.} ist, {muss es keine / kann es} paarweisen Unterschiede geben (-> http://www.pitt.edu/~wpilib/statfaq/97postho.html), abhängig von der Art der post-hoc-tests.
Damit hast du dann aber keine Aussage. Nur p-Werte ohne
sig-niveau - dann kannst du auch einfach nur die Mittelwerte
angeben.
Da stimme ich (noch?) nicht mit Dir überein. Die t-Werte beziehen auch die Information über den Fehler/Schätzgenauigkeit/Reproduzierbarkeit der Mittelwerte mit ein. Der p-Wert berücksichtigt dabei auch noch die Freiheitsgrade, und er gibt ein Maß für die Stärke der Veränderung unseres Wissens aufgrund der vorliegenden Ergebnisse. Daher denke isch, dass p-Werte ohne eine Klassifikation durchaus Sinn machen (in expl. Studien), und zwar über die Angabe der Mittelwerte hinaus.
Da stimme ich (noch?) nicht mit Dir überein. Die t-Werte
beziehen auch die Information über den
Fehler/Schätzgenauigkeit/Reproduzierbarkeit der Mittelwerte
mit ein. Der p-Wert berücksichtigt dabei auch noch die
Freiheitsgrade, und er gibt ein Maß für die Stärke der
Veränderung unseres Wissens aufgrund der vorliegenden
Ergebnisse. Daher denke isch, dass p-Werte ohne eine
Klassifikation durchaus Sinn machen (in expl. Studien), und
zwar über die Angabe der Mittelwerte hinaus.
Ja, das ist richtig, aber wenn du kein sig-Niveau angibst, nehmen wohl die meisten Leser implizit 5% an und schließen dann genau das, was du verhindern wolltest. Wenn du aber wirklich und gar nicht an einer Aussage anhand der p-Werte interssiert bist, gib nur die t-Werte an (da steckt nahezu dieselbe Info drin wie in den p-Werten) - die lassen sich nicht so leicht fehlinterpretieren.