Super, danke für deine ausführlichen Erklärungen - jetzt ist
mir einiges klarer.
Das freut mich. Es gibt Stidenten, denen ist das nach zwei Semestern und vielen Übungen immer noch nicht klar… 
Wenn die Signifikanz jetzt also über 0,05 ist, dann kann ich
einfach davon ausgehen, dass der Test nicht signifikant ist
Ja: Der mittlere Unterschied zwischen den Gruppen/Behandlungen ist nicht signifikant auf einem Niveau von 5%. (Die mittlere Differenz ist nicht signifikant verschieden von Null auf einem Niveau von 5%).
Es ist m.E. wichtig, zu sagen, auf welchem Niveau man prüft. Es kann ja auch sein, Du legst laschere oder strengere Kriterien an als das 5%-Niveau.
und somit die Nullhypothese zutrifft, oder (wäre in meinem
Fall ok, weil ich nachweisen will, dass sich nix ändert 
)
NEIN! NEIN! GANZ WICHTIG!!!
Ein gescheiterter Versuch, die Nullhypothese abzulehnen, bedeutet NICHT zwangsläufig, dass sie zutrifft!!
Krasses (aber nicht sooo gutes Alltagsbeispiel): Vor Gericht. Dem Angeklagten wird vorgeworfen, dass seine mittlere Differenz von Null verschieden ist. Dem Gericht liegen einige Indizien (Daten der Stichprobe) vor. Der Anwalt des Angeklagten weist darauf hin, dass die Indizien nicht mit ausreichender Sicherheit belegen, dass der Angeklagte schuldig ist im Sinne der Anklage. Ohne ausreichende Faktenlage kann der Richter den angeklagten nicht verurteilen. Es bleibt auf freiem Fuß.
Klar:
Nullhypothese => der Angeklagte ist unschuldig;
Alternativhypothese => er ist schuldig,
Daten => Indizien,
Hypothesentest => legt die Beweiskraft der Indizien GEGEN den Angeklagten fest,
Verurteilung => richterliche Behauptung, der Angeklagte sei schuldig (mit den unangenehmen Folgen für den Angeklagten
Beweiskraft GEGEN den Angeklagten reicht NICHT aus -> also keine Verurteilung
Das KEINE Verurteilung erfolgt, ist kein BEWEIS dafür, dass der Angeklagte unschuldig ist! Er kann sehr wohl schuldig sein, nur lagen dem Gericht zur Urteilsfindung keine ausreichenden Indizien vor.
Wenn das Gericht eine extrem umfangreiche Indizienaufnahme vorgenommen hat und nach langer, gründlicher Recherche trotzdem keine ausreichende Menge belastender Indizien gesammelt werden konnten, DANN kann man ruhigen Gewissens davon ausgehen, dass der Angeklagte tatsächlich unschuldig ist.
In der Statistik läßt sich das natürlich quantifizieren. Hierzu ist wichtig zu wissen, mit welcher Sicherheit man einen Effekt welcher Größe als „signifikant“ nachweisen können will, wenn er (der Effekt) denn da ist. Man muss also einen interessierenden Mindesteffekt festlegen. Außerdem muss man wissen, wie die zu messenden Daten dann so streuen. Das entnimmt man der Literatur oder einer Pilotstudie.
Mit diesem Wissen (Mindesteffektstärke, Varianz, gewünschtes Signifikanzniveau, gewünschte Sicherheit) macht man dann Stichprobenplanung oder (a priori) Power-Analyse. Hierbei wird berechnet, wie groß eine Stichprobe sein muss, um die o.g. Kriterien erfüllen zu können.
Dann erst erhebt man die eigentlichen Daten und wertet sie aus.
Jetzt gibt es zwei Möglichkeiten:
a) das Ergebnis ist statistisch signifikant oder
b) es ist nicht statistisch signifikant.
Bei a) ist die Sache klar: Die Nullhypothese wird abgelehnt. Bei b) hätten wir ohne die Stichprobenplanung jetzt keine Aussage treffen können. Mit Stichprobenplanung aber haben wir die Kenntnis darüber, dass wir mit der o.g. Sicherheit ein sig. Ergebnis bekommen hätten, wenn der Effekt mindestens so groß ist wie der o.g. Mindesteffekt. Nun ist der Fall eingetreten: Wir haben kein sig. Ergebnis. Jetzt ist der Umkehrschluß erlaubt: Mit der o.g. Sicherheit ist der wahre Effekt KLEINER als der Mindesteffekt. (Beachte: auch hier wird nicht die Wahrscheinlichkeit FÜR die Nullhypothese gegeben; es wird NICHT behauptet, der Effekt sei genau gleich Null, sondern nur für die Menge der Fälle, in denen er kleiner ist als ein Grenzwert).
Nur wenn die Signifikanz unter 0,05 liegt, dann kann ich die
Nullhypothese verwerfen, oder?
Ja, und zwar auf dem Niveau von 5%.
Ist die Signifikanz kleiner als 0,01, dann kann man auch auf einem Niveau von 1% ablehnen. Ist die Signifikanz 0,18, dann könnte man noch auf einem Niveau von 18% ablehen, aber das kommt nicht gut an!
Also nochmal, das ist wichtig: Wenn du die ABWESENHEIT eines Effekts nachweisen willst, dann musst du eine Stichprobenplanung machen. Dazu mußt du wisssen bzw. festlegen:
a) Wie groß wird die Streuung der Daten sein?
b) Welcher Effekt ist mindestens relevant?
c) Mit welcher Sicherheit soll ein Mindesteffekt nachgewiesen werden können?
d) Auf welchem Signifikanzniveau soll geprüft werden?
Den Punkt c) nennt man auch die „Power des Tests“. Sie sollte über 90%, besser bei 95% liegen.
Dann berechnest du mit einer Poweranalyse bzw. Stichprobenplanung den nötigen Stichprobenumfang. Dann machst du das Experiment und wertest es aus. Dann ziehst du die Schlussfolgerung unter berücksichtigung der Stichprobenplanung.
VG
Jochen
