ANOVA - starker Haupteffekt keine Interaktion?

Wissenschaft Psychologie
#1

Hallo,
ich bin mir über folgendes Problem im Rahmen der ANOVA nicht ganz klar:

Angenommen man hat ein 2x2x2x2x2-Design (also 4 Faktoren mit je 2 Ausprägungen - within/between sollte hier egal sein).
Sagen wir Faktor 1-3 zeigen signifikante Haupteffekte, wobei Faktor1 extrem stark ausgeprägt ist - sagen wir F (1, 38) = 113.525, p =.000 (die anderen haben z.B. alle ein p zwischen .01 und .04). Faktor 4 und 5 zeigen keine signifikanten Haupteffekte.

Nun zeigt sich, dass es einige signifikante Interaktionen zwischen den Faktoren gibt, jedoch der Faktor mit dem extrem starken Haupteffekt (Faktor1) an keiner dieser Interaktionen beteiligt ist.

Nun ist die Frage - Kann dies (neben möglichen inhaltlichen Gründen) auch daran liegen, dass der Haupteffekt für diesen Faktor so stark ausgeprägt ist?
Oder anders formuliert: sagen wir der extreme Faktor interagiert mit einem der anderen Faktoren (dessen Haupteffekt bei .03 liegt) mit einem p=.21 - wäre es wahrscheinlicher zu einem signifikanten Ergebnis zu kommen, wenn der extreme Faktor (Faktor1) einen schwächeren Haupteffekt haben würde.

Fazit: Kann ein extremer Haupteffekt potentielle Interaktionen überdecken?

Vielen, vielen Dank für die Antworten!

#2

Es wäre m.E. wichtig zu wissen, ob die Faktoren a priori als unabhängig voneinander anzunehmen sind. Wenn es sich bei allen Faktoren um Gruppenvergleiche, also dann between-Group Effekte handelt, dürfte der starke Haupteffekt keinen verzerrenden Einfluß auf die anderen Effekte haben, da ein Interaktionseffekt ja auch auftritt, wenn z.B. beide Gruppen in 2 Variablen in die gleiche Richtung tendieren, nur die eine stärker als die andere. Die Signifikanzen sind übrigens gar nicht so aussagekräftig, da sie u.U. nur aus einer großen Stichprobe resultieren können. Besser wären hier Effektstärken.

Sofern hier auch Meßwiederholungseffekte mit einfließen, kann ich die Frage leider nicht beurteilen.
Vielleicht solltest Du das Design doch noch genauer erläutern!

#3

Vielen Dank für die schnelle Antwort!!!

stärker als die andere. Die Signifikanzen sind übrigens gar
nicht so aussagekräftig, da sie u.U. nur aus einer großen
Stichprobe resultieren können. Besser wären hier
Effektstärken.

Ich hab unten noch d für die Haupteffekte angegeben (korrekt berechnet für within [aus Mean und SD], Stichprobengröße ist 40 (je 20 pro Expertengruppe)

Vielleicht solltest Du das Design doch noch genauer erläutern!

O.K. dann machen wir es von hypothetisch zu konkret:
=> Plot: Pbn fahren im Fahrsimulator, werden unterbrochen, und nach einer gewissen Unterbrechungsdauer abgefragt (umgebender Verkehr).

Mein Design: 5-faktoriell mit je 2 Ausprägungen ; Faktor1 - Expertise [p=.223; d=.391](between, (natürlich nicht manipuliert, sondern gemessen) ; (alle folgenden within manipuliert) Faktor2 - Unterbrechungsdauer [p=.000 ; d=1.2] ; Faktor3 - Cuing [p=.000; d=.525]; Faktor4 - Relevanz des abgefragten Bereichst [p=.002 ; d=.412]; Faktor5 - Kritikalität der Abfragesituation [p=.197 ; d=.1578]

Delay hat ein F von 113 (die anderen sind alle unter 20) - aber die Effektgrößen zeigen den Unterschied ja auch schön.

=> das mit der Korreliertheit versteht ich nicht ganz (oder meinst du einfach, dass die versch. Zellenwerte miteinander korreliert sind, weil von der gleichen VP)?

#4

Hallo!

Fazit: Kann ein extremer Haupteffekt potentielle Interaktionen
überdecken?

Nein, das geht meiner Meinung nach nicht. Die Anova relativiert ja bei der Berechnung von Interaktionen um die Schätzung für die Effektstärken.

Das einzige, was die Anova wirklich verlässlich nachweisen kann, ist eine Interaktion.

Wesentlich wahrscheinlicher ist, dass ein Haupteffekt angezeigt wird (bei starker Interaktion), den es gar nicht gibt.

Einige Autoren schlagen vor, bei einer Interaktion auf die Interpretation von Haupteffekten zu verzichten, andere schlagen vor, zwischen ordinaler vs. disordinaler Interaktion zu unterscheiden. Bei der disordinalen wäre eine Interpretation noch möglich (z.B. Howell & Everitt).

Post-Hoc Tests würden aber Gewissheit bringen (bei Meßwiderholung schwierig), zusätzlich zeigt (unter SPSS) ein Diagramm aber ganz gut auf, ob Interaktionen Haupteffekte bedingen könnten oder nicht.

Natürlich wäre es bei Deinem Design eventuell schön, wenn die Expertengruppe weniger stark durch den verzögerten Abruf betroffen wäre (wenn ich das Design richtig verstanden habe), aber es scheint eben nicht zu sein.

Bei ANOVAS ist es übrigens nicht üblich, die Effektstärke mit d anzugeben. Es wird Cohens f genannt. Das kannst Dz auch bequem über z.B. G-Power berechnen lassen - als Freeware unter z.B. http://www.psycho.uni-duesseldorf.de/abteilungen/aap… downzuloaden.

Lieben Gruß
Patrick

#5

Hallo,

bzgl. der Interpretation von Haupteffekten bei Vorliegen von Interaktionen:

Bei der disordinalen wäre eine
Interpretation noch möglich (z.B. Howell & Everitt).

Haupteffekte sind immer interpretierbar als durchschnittliche Effekte über alle Stufen eines Faktors. Das ist ja der Zweck ihrer Berechnung und stellt auch keine Verzerrung oder Verfälschung der Daten dar.

Jedoch sind Haupteffekte bei Vorliegen einer Interaktion nicht immer in Bezug auf die einzelnen Faktorstufen interpretierbar. Sie sind in diesem Sinne interpretierbar, wenn es sich um eine ordinale Interaktion handelt. Im Gegensatz dazu sind sie in diesem Sinn nicht interpretierbar, wenn es sich um eine disordinale Interaktion handelt. Bei einer hybriden Interaktion läßt sich in diesem Sinne nur einer der beiden Haupteffekte einer zweifaktoriellen ANOVA interpretieren.

Grüße

#6

Hallo!

Haupteffekte sind immer interpretierbar als durchschnittliche
Effekte über alle Stufen eines Faktors. Das ist ja der Zweck
ihrer Berechnung und stellt auch keine Verzerrung oder
Verfälschung der Daten dar.

Naja, das würde ich etwas differenziert sehen:

Als Aufgabe könnte ich einer Versuchsperson stellen, sich von einem Stuhl zu erheben und einen Gegenstand aus einer anderen Ecke eines Raumes zu holen.

Als ersten Faktor wähle ich das Auftragen einer Komponente eines 2-Komponentenklebers (K1) vs. kein Auftragen der Komponente auf den Stuhl (O1).

Als zweiten Faktor wähle ich das Auftragen der anderen Komponente auf den Stuhl (K2) vs. kein Auftragen der Komponente auf den Stuhl (O2).

Als abhängige Variable messe ich die Dauer für das Erfüllen der Aufgabe.

In den Gruppen O1-O2, K1-O2, O1-K2 stelle ich jeweils keinen Zeitverlust fest (jede VP dieser Gruppen braucht sagen wir mal 10 sec.).

In der Gruppe K1-K2 stelle ich einen Zeitverlust fest - die VPn brauchen ca. 30 min und 10 sec. (bis zum Eintreffen der Feuerwehr).

Will ich den Effekt von K1 bestimmen, dann mittel ich in der Anova über die Gruppen K1-O2 und K1-K2 - und voila, ich finde einen Effekt von +7.5 min bzw. -7.5 min. für beide Faktoren.

SPSS z.B. zeigt mir für diese Effekte ein signifikantes Ergebnis an (Haupteffekt in Bezug auf die H(A)'s: „Es gibt für mind. eine Effektstufe einen Unterschied zu 0“, bei festen Effekten).

Im Beispiel ist dieser Effekt aber nun wirklich nur auf die Interaktion zurückzuführen.

Natürlich kann man die Gruppenmittelwerte dennoch bilden und unter den entsprechenden Maßgaben interpretieren (eben: es gibt eine Interaktion und keine Haupteffekte, selbst wenn sie sich im Modell der ANOVA zeigen) - nur ob dies Sinnvoll ist oder doch eher die Verschwendung von Zeit darstellt ist eine andere Frage.

Jedoch sind Haupteffekte bei Vorliegen einer Interaktion
nicht immer in Bezug auf die einzelnen
Faktorstufen interpretierbar. Sie sind in diesem Sinne
interpretierbar, wenn es sich um eine ordinale
Interaktion handelt. Im Gegensatz dazu sind sie in diesem Sinn
nicht interpretierbar, wenn es sich um eine
disordinale Interaktion handelt. Bei einer hybriden
Interaktion läßt sich in diesem Sinne nur einer der beiden
Haupteffekte einer zweifaktoriellen ANOVA interpretieren.

Das Beispiel zeigt eine ordinale Interaktion auf, und es zeigt, dass ordinale Interaktionen geeignet sind Effekte aufzuzeigen, die es nicht gibt (Scheineffekt).

Eine Anova mit Interaktionen würde ich persönlich niemals in Bezug auf Haupteffekte interpretieren - egal bei welcher Form der Interaktion.

Ich weiß, dass unterschiedliche Autoren unterschiedliche Interpretationsmöglichkeiten aufzeigen - ich lehne das jedoch ppersönlich gänzlich ab. Meine Meinung ist: Bonferroni tut keinem weh und warum nicht die Gruppen direkt vergleichen, ohne mehrere Gruppen in einen Topf zu schmeißen (na gut, Power büßt man dann natürlich auch noch ein, aber man arbeitet sauberer).

Lieben Gruß
Patrick

#7

Hallo,

Das Beispiel zeigt eine ordinale Interaktion auf,

Dein artifizielles Beispiel ist ein Grenzfall, den manche Autoren als ordinal (z.B. Hager & Westermann, 1983), andere aber als disordinal bezeichnen (z.B. Bredenkamp, 1980). In Abhängigkeit davon, welchem Standpunkt man sich anschließt, kommt man zu unterschiedlichen Schlußfolgerungen über die Interpretation von Haupteffekten bei ordinalen Interaktionen im allgemeinen.

Abgesehen davon belegt Dein Beispiel nicht, daß Haupteffekte bei Vorliegen von Interaktionen nie interpretierbar sind, sondern zeigt nur, daß sie bei manchen Interaktionen nicht sinnvoll interpretiert werden können. Genau darauf hatte ich in meinem Posting bereits hingewiesen.

Beste Grüße

#8

Danke dir für deine Antwort!

Nein, das geht meiner Meinung nach nicht. Die Anova
relativiert ja bei der Berechnung von Interaktionen um die
Schätzung für die Effektstärken.

O.K.

Einige Autoren schlagen vor, bei einer Interaktion auf die
Interpretation von Haupteffekten zu verzichten, andere
schlagen vor, zwischen ordinaler vs. disordinaler Interaktion
zu unterscheiden. Bei der disordinalen wäre eine
Interpretation noch möglich (z.B. Howell & Everitt).

=> ja die Unterscheidung hab ich auch schon mal gehört - kannst du mir die Quelle Howell & Everitt noch genauer geben (z.B. Jahr, Name des Papers)?

Post-Hoc Tests würden aber Gewissheit bringen (bei
Meßwiderholung schwierig),

Das versteh ich nicht wie die hier Aufklärung bringen sollen?
=> ach ja, es gibt einen netten Link, wo genau dieser Punkt (Post Hoc bei Messwiederholung) sehr anschaulich besprochen wird: http://www.uvm.edu/~dhowell/StatPages/More_Stuff/Rep…

Natürlich wäre es bei Deinem Design eventuell schön, wenn die
Expertengruppe weniger stark durch den verzögerten Abruf
betroffen wäre (wenn ich das Design richtig verstanden habe),
aber es scheint eben nicht zu sein.

=> ja, zumindest nach der ursprünglichen Annahme - wenn es aber „zu keinem Unterschied“ kommt ist das auch eine wertvolle Aussage.

Bei ANOVAS ist es übrigens nicht üblich, die Effektstärke mit
d anzugeben. Es wird Cohens f genannt. Das kannst Dz auch
bequem über z.B. G-Power berechnen lassen - als Freeware unter
z.B.
http://www.psycho.uni-duesseldorf.de/abteilungen/aap…

=> Ja G-Power nimmt das f von Cohen. Aber ich kann mir nicht vorstellen das das unproblematisch ist. Ich habe mich vom partiellen Eta Quadrat aus SPSS ausgehend (was für mein Design murks ist) mal durch die Literatur gewühlt. Rasch(2006) - „Quantitative Methoden“ meinen, dass es dafür (Messwiederholungdesign) (noch) keine guten Effektgr. gibt und weißen darauf hin, dass part.Eta ja nur auf Stichprobenebene ist (also neben der Designabhängigkeit auch noch zu liberaler Schätzer für Pop.). 2003 wurde von Oljenik & Aglina das "generalized eta (bzw. omega) squared vorgeschlagen) und von Bakeman (2005) nochmals empfohlen (beide Quellen im Web of Science übrigens gut zitiert). Also wäre (und ist) dies die Effektgröße meiner Wahl. Hier habe ich sie aber nicht gebracht, weil: a) die Interpretation eines d’s (na wer kennt Konventionen zum general.omega?) einfach ist und ich b) ja auch nur die Haupteffekte beschrieben hab (Ergebnis äquivalent zu t-Test - wo d ja üblich) und c) mein Statisik-Prof mir davon abgeraten hat Eta und Konsorten zu nehmen - weil die recht unspezifisch wären (großes Eta heißt nicht, dass große Passung der Daten zu meinen Vorhersagen). Er meinte - „nur bei Kontrastanalyse“. Und da hab ich keine Lust zu.
Also Fazit: Ja du hast recht - d ist ungebräuchlich, aber in meinem Fall doch sinnvoll. Aber du wolltest mir ja einfach einen Ratschlag geben - also Danke!

Lieben Gruß
Patrick

Liebe Grüße zurück :smile:
Thomas

#9

Hallo!

=> ja die Unterscheidung hab ich auch schon mal gehört -
kannst du mir die Quelle Howell & Everitt noch genauer geben
(z.B. Jahr, Name des Papers)?

Naja, Howell & Everitt haben z.B. die „Encyclopedia of statistics in behavioural sciences“ herausgegeben - neben einer Vielzahl von Lehrbüchern. Für mich Namen, die vergleichbar zu „Bortz“ in Deutschland sind, aber einen besseren Klang in meinen Ohren hinterlassen.

Weder von Bortz noch von den beiden ist mir jetzt eine einzelne Arbeit bekannt. Ich weiß, dass Sekundärliteratur normalerweise nicht so der Hammer ist - aber in der Statistik mache ich auch gerne mal eine Ausnahme.

Also Fazit: Ja du hast recht - d ist ungebräuchlich, aber in
meinem Fall doch sinnvoll. Aber du wolltest mir ja einfach
einen Ratschlag geben - also Danke!

Also meine Meinung habe ich ja klar gemacht: Haupteffekte über vereinigte Gruppen bei mehrfaktoriellem Design sind bei vorliegen einer Interaktion so ohne weiteres nicht sinnvoll interpretierbar (siehe das Komponentenkleber-Beispiel bezüglich auf Scheineffekte).

Ich würde Behaupten, Cohen’s d tut aber genau das (interpretieren über vereinigte Gruppen). Deswegen finde ich es eher nicht sinnvoll, sondern vielmehr falsch (meine persönliche Meinung).

Lieben Gruß
Patrick

#10

Ich würde Behaupten, Cohen’s d tut aber genau das
(interpretieren über vereinigte Gruppen). Deswegen finde ich
es eher nicht sinnvoll, sondern vielmehr falsch (meine
persönliche Meinung).

=> ja da geb ich dir recht - da hab ich 1 und 1 nicht zusammengezählt. Aber schließlich gibt man ja der Systematik wegen auch z.B. den F-Wert für den Haupteffekt an (auch wenn Interaktion) - und da kann man auch eine Effektgröße angeben (über den Sinn kann man sich dann natürlich streiten). Nur bei der Interpretation sollte man dann vorsichtig sein.

#11

Also meine Meinung habe ich ja klar gemacht: Haupteffekte über
vereinigte Gruppen bei mehrfaktoriellem Design sind bei
vorliegen einer Interaktion so ohne weiteres nicht sinnvoll
interpretierbar (siehe das Komponentenkleber-Beispiel
bezüglich auf Scheineffekte).

O.K. ich bin auf deine Kritik eingegangen und hab die signifikante 4-fach-Interaktion weiter analysiert (wie es Keppel in „Design and Analysis“ vorschlägt - Unterteilung in „simple interactions“ usw.). Bei dieser Analyse komme ich am Ende ja auch bei bestimmten „Haupteffekten“ raus (die aber eben evtl. nur bei einer best. Zellkombination auftreten) - also einfach: die Analyse bricht ja bis auf Ebene 1 runter. Diese Effekt auf der 1. Ebene, wo ja nur 2 Mittelwerte verglichen werden - für die wäre doch dann die Berechnung von d durchaus adäquat - korrekt?
Danke für deine Antwort!
Thomas