nach einigen Diskussionen im Kollegenkreis stehe ich vor der Frage, welcher Sprachgebrauch üblich ist, wenn es um den Vergleich von statistischen Signifikanzen geht.
Angenommen, ich möchte zwei Testergebnisse vergleichen, Test 1 liefert einen p-Wert von 0.02, Test 2 einen p-Wert von 0.008.
Ist Test 2 dann stärker signifikant als Test 1? Ist er höher signifikant?
Bei einigen Kollegen kam Verwirrung auf, als über den p-Wert selbst gesprochen wurde, denn der p-Wert von Test 1 ist größer als der von Test 2, was aber natürlich bedeutet, dass die statistische Signifikant niedriger/schwächer ist.
Meine Frage ist nun: Welcher Sprachgebrauch, wenn möglich sowohl im Englischen als auch im Deutschen, ist in diesem Kontext üblich? Gibt es überhaupt einheitliche Begriffe?
Falls die Frage besser im Board für Deutsche Sprache oder Fremdsprachen aufgehoben ist, kann ichs auch gern da einstellen.
kleinere p-werte zeigen an, dass es unwahrscheinlicher unter H0 ist, eon derartiges Ergebnis zu bekommen. Dieses Wissen wird i.a. vorausgesetzt und man verwendet einfach nur die Formulierung „the p-value of test 1 was smaller compared with that of test 2“.
Genau diese Eigenschaft wird auch verwendet, wenn man auf multiples testen adjustiert - kleinere p-werte korrespondieren mit einer größeren W’keit für H1.
Stat. signifikanz hingegen ist eine Dichtomisierung des p-wertes gemessen am vorgegebenen alpha. Von daher gibt es nur sig./nicht sig. aber nicht „signifikanter als“.
HTH,
JPL
Danke für die Antwort, das hilft mir ein Stück weiter.
In der Hinsicht verwirrt mich bspw. der englische WP-Artikel über p-Werte, der aussagt: „The lower the p-value, the less likely the result is if the null hypothesis is true, and consequently the more „significant“ the result is, in the sense of statistical significance.“
Das fassten wir halt so auf, als liesse sich das Ausmass der Signifikanz quantifizieren.
Heisst das dann, dass ich, wenn ich die statistische Signifikanz auf einen p-Wert zurückführe, durchaus Vergleiche anbringen kann und das dann über den tatsächlichen Wert gemacht wird (also p1 = 0.02, p2 = 0.008 => „p1 ist grösser als p2“)? Folgt daraus auch die Möglichkeit zur Aussage „Die Wahrscheinlichkeit für ein falsch-positives Ergebnis ist bei Test 2 geringer als bei Test 1“?
In der Hinsicht verwirrt mich bspw. der englische WP-Artikel
über p-Werte, der aussagt: „The lower the p-value, the less
likely the result is if the null hypothesis is true, and
consequently the more „significant“ the result is, in the
sense of statistical significance.“
Das consequently ist irreführend, denn der Zusatz erklärt eigentlich nichts.
Heisst das dann, dass ich, wenn ich die statistische
Signifikanz auf einen p-Wert zurückführe, durchaus Vergleiche
anbringen kann und das dann über den tatsächlichen Wert
gemacht wird (also p1 = 0.02, p2 = 0.008 => „p1 ist grösser
als p2“)?
Klar, die >-relation ist hier zulässig. Aber du hast keinen echten Zugewinn an Info, denn du kannst daraus nur schlußfolgern, dass das eine ergebnis unter deren H0 unwahrschinlicher ist, als das andere unter deren H0. Nur wenn die beiden H0 ident sind, kannst du über diese W’keiten die eriegnisse direkt vergleichen.
Folgt daraus auch die Möglichkeit zur Aussage „Die
Wahrscheinlichkeit für ein falsch-positives Ergebnis ist bei
Test 2 geringer als bei Test 1“?
Nein. Der Fehler für eine falsch-positives Ergebnis (Type I error) sollte mit dem Signifikanzniveau überinstimmen und betragt dann, say, 5%. Selbst wenn das so ist (was nur der Fall ist wenn die Annahmen des Tests erfüllt sind), ist der Fehler immer noch 5% und nicht der p-Wert.
Grüße,
JPL
die Argumentation bzgl. des Fehlers 1. Art kam wie folgt zustande:
Wenn ich ein Signifikanzniveau von 5% annehme und ich erhalte einen statistisch signifikanten Unterschied, verwerfe ich die Nullhypothese und der Fehler 1. Art liegt bei 5%.
Wenn ich ein Signifikanzniveau von 1.7% annehme und exakt die selben Daten betrachte, erhalte ich wieder einen statistisch signifikanten Unterschied (bei p2 = 0.008 zumindest) und damit läge der Fehler 1. Art nur bei 1.7%, obwohl ich ja am Test oder an den Daten nichts ändere.
Durch die Anpassung des Signifikanzniveaus steigt zwar auch die Wahrscheinlichkeit für einen Fehler 2. Art, aber das spielt ja für die Aussage, nach der ich fragte, keine Rolle.
ich macht dabei nur einen klitzkleinen Fehler:
Ihr habt euch die daten schon angesehen bzw. das signiveau nicht vorher festgelegt.
Damit ist eure Entscheidung arbiträr, denn ihr hättet ja auch jeweils alpha=0.003 anlegen können und hättet euch jeweils für H0 entschieden.
Zum einen führt diese Anpassung jede Fallzahlplanung ad absurdum (aber das soll hier mal nebensächlich sein), zum anderen beinhaltet diese Prozedur, damit sie eben keinen zu kleinen alpha-Wert produziert und nicht beliebig gewählt wird, „unendliches testen“. Denn ihr testet einmal gegen 5%, dann gegen 4.9%, dann gegen 4.8% u.s.w. Damit müsst ihr dann wieder für multiples testen adjustieren … keine Ahnung, was da raus käme, aber ein Zugewinn ist das sicher nicht.
Grüße,
JPL
bzw. das signiveau nicht vorher festgelegt.