Frage zum t-test

JiNi_56702e · 18. November 2008 um 15:10

Hallo Experten,

ich habe eine Frage zum t-test.
Und zwar habe ich eine Befragung durchgeführt, die ich nun auswerten möchte.

Ich habe z.B. eine Variable die besagt, dass jemand etwas gut fand (wert 1 sehr gut 5 sehr schlecht)
Nun hab ich einzelne Fälle, die unterschiedliche Gruppen wiedergeben. In meinem Fall Werbemaßnahmen. z.B. die ersten 200 Fälle sind Anzeigen in Zeitungen die nächsten 150 Fälle Kinowerbespot usw.

Nun möchte ich also auf sgnifikanz überprüfen, inwieweit sich der mittelwert der anzeige im vergleich zum Kinospot unterscheidet, wenn beide die Variable wie gut es gefallen hat betrachten.

Handelt es sich hier bei um abhängigkeit oder unabhängigkeit?
Brauch ich ja, um den t-test durchführen zu können!

Liebe Grüße,
Jini

aiwendil · 18. November 2008 um 16:18

Hallo,

Ich habe z.B. eine Variable die besagt, dass jemand etwas gut
fand (wert 1 sehr gut 5 sehr schlecht)
Nun hab ich einzelne Fälle, die unterschiedliche Gruppen
wiedergeben. In meinem Fall Werbemaßnahmen. z.B. die ersten
200 Fälle sind Anzeigen in Zeitungen die nächsten 150 Fälle
Kinowerbespot usw.
Handelt es sich hier bei um abhängigkeit oder unabhängigkeit?
Brauch ich ja, um den t-test durchführen zu können!

wenn eine Person gehört immer nur einer der Gruppen angehört, dann sind es unabhängige Stichproben.

Abgesehen davon: Wenn Du mehr als 2 Gruppen hast, könnte für Dich eine Varianzanalyse mit anschließenden Scheffè-Kontrasten sinnvoller sein als ein t-Test.

Beste Grüße

JiNi_56702e · 18. November 2008 um 16:36

Eine Person gehört mehrerer Gruppen an. Was aber so nicht direkt berücksichtigt wird. Ich gebe alle Maßnahmen hintereinander ein. Ich habe zB 50 ragebögen und es kennen 30 die eine Maßnahme dann gebe ich erst alle 30 Fälle ein. Dann nehme ich mir wieder von allen 50 den Fragebogen und schaue wer die Fragen für die nächste Maßnahme beantwortet hat usw.
Das heiß es gibt schon Personen, die mehrere Maßnahmen kennen. Die sind aber nacheinander eingegeben und es ist später nicht mehr nachzuvollziehen, wer wie viele und welche Maßnahmen beantwortet hat.

Ist es nun trotzdem unabhängig?

aiwendil · 19. November 2008 um 07:38

Ist es nun trotzdem unabhängig?

Nein. Es handelt sich um abhängige Daten, die Du wie unabhängige Daten eingegeben hast. Die Daten einer Person müssen dieser Person eindeutig zugeordnet werden. Ich würde die Daten einer Person in eine Zeile schreiben: erst eine Variable für den einen Bereich, dann eine Variable für den zweiten Bereich usw. Dann kann man t-Tests für abhängige Stichproben oder vielleicht besser eine Varianzanalyse mit Meßwiederholung rechnen.

Beste Grüße

Jo1_a88223 · 19. November 2008 um 07:48

Ist es nun trotzdem unabhängig?

Nein. Es handelt sich um abhängige Daten, die Du wie
unabhängige Daten eingegeben hast. Die Daten einer Person
müssen dieser Person eindeutig zugeordnet werden.

Müssen? Warum?

Klar, wenn die Varianz zwischen den Personen groß ist, hat die „gepaarte“ Analyse unbestreitbare Vorteile, weil sie diese Varianz eben rausrechnen kann.

Wenn man *eigentlich* gepaarte Daten aber ungepaart analysiert, ist es doch nicht falsch - nur eben oft dumm, weil man eine geringere Teststärke hat, die „Behandlungs“-Effekte zu erkennen.

Wenn keine Information über die Zusammengehörigkeit der Daten (mehr) vorliegt, muss man - und kann man doch auch! - diese Daten ungepaart analysieren. Man hat dann (je nach Varianz zw. den VP) eine recht miserable Power, allerdings: *Wenn* man dann einen Effekt erkennt, dann ist der meist auch relevant, weil sehr groß…

Ich wäre dankbar für eine Rückmeldung, ob (und wenn ja: warum) ich mit dieser Ansicht falsch liege.

Viele Grüße,
Jochen

JiNi_56702e · 19. November 2008 um 08:30

Aber wenn ich alles hintereinander eingeben würde also für eine &gt:stuck_out_tongue_winking_eye:erson eine Zeile und dafür einfach mehr Variablen habe könnte ich wohl die einzelnen Variablen nicht vergleichen. da hab ich dann ja für jede maßnahme vier fragen. und das sind alles die variablen. also die eine werbung wie gut gefallen, dahinter dann wie interessant, usw. und das für jede maßnahme und alles als Variablen.

Also kann ich die Daten nun abhängig betrachten oder kann ich die ganze Auswertung so vergessen??

Liebe Grüße von der fragenden,Jini

und schon mal vielen Dank für die Hilfe

JPL · 19. November 2008 um 09:07

Hi Jochen,

Klar, wenn die Varianz zwischen den Personen groß ist, hat die
„gepaarte“ Analyse unbestreitbare Vorteile, weil sie diese
Varianz eben rausrechnen kann.

Sehe ich auch so.

Wenn man *eigentlich* gepaarte Daten aber ungepaart
analysiert, ist es doch nicht falsch - nur eben oft dumm, weil
man eine geringere Teststärke hat, die „Behandlungs“-Effekte
zu erkennen.

Auch richtig.

Wenn keine Information über die Zusammengehörigkeit der Daten
(mehr) vorliegt, muss man - und kann man doch auch! - diese
Daten ungepaart analysieren. Man hat dann (je nach Varianz zw.
den VP) eine recht miserable Power, allerdings: *Wenn* man
dann einen Effekt erkennt, dann ist der meist auch relevant,
weil sehr groß…

Die Info liegt ja vor (de facto in den Fragebögen). Sie in der Analyse zu unterschlagen ist schon ein chritt in Richtung Betrug.
Effekte auf nicht adäquaten Methoden^*) sind nichts wert, und wenn nicht einmal angegeben wird, dass man sich einer suboptimalen Methode bedient hat … na ja, ich will es lieber nicht sagen.

*) klar: was ist eine adäquate Methode? Da gibt es viele Meinungen. Allerdings gibt es wesentlich komplexere Probleme als die Frage, ob man Abhängigkeiten berücksichtigen muss. Das is ja schon ein alter Hut.

Grüße,
JPL

Jo1_a88223 · 19. November 2008 um 09:20

Hallo,

Aber wenn ich alles hintereinander eingeben würde also für
eine &gt:stuck_out_tongue_winking_eye:erson eine Zeile und dafür einfach mehr Variablen
habe könnte ich wohl die einzelnen Variablen nicht
vergleichen. da hab ich dann ja für jede maßnahme vier fragen.
und das sind alles die variablen. also die eine werbung wie
gut gefallen, dahinter dann wie interessant, usw. und das für
jede maßnahme und alles als Variablen.

Wenn Du vergleichen willst, ob die VPn Maßnahme A oder Maßnahme B „interessanter“ fanden, dann hilft es, diese Frage „gepaart“ zu untersuchen, d.h., statt der Mittelwerte der beiden Maßnahmen zu vergleichen schaut man sich die Mittlere Differenz an.

Also kann ich die Daten nun abhängig betrachten oder kann ich
die ganze Auswertung so vergessen??

Du solltest die Daten als abhängig betrachten.

Außerdem:

In jedem Fall hast Du es hier mit einer multivariaten Geschichte zu tun. Einzelvergleiche der Werbemaßnahmen würden zu einer Unterschätzung des Typ-I-Fehlers führen. Um das zu vermeiden, sollte die Auswertung als solche schon multivariat gemacht werden oder die p-Werte der paarweisen Vergleiche müssen über die Zahl der Vergleiche und über die Zahl der Werbemaßnahmen korrigiert werden.

Ich sehe auch noch das Problem in den Daten, dass Variablen wie „Interessant“ und „Gefallen“ korrelieren. Man sollte sich erstmal die Korrelationsstruktur anschauen, vielleicht ist es sinnvoll, bestimmte Variablen aus der Analyse rauszulassen.

Das geht natürlich nur, wenn die Zuordnung der Daten zu den VPn bekannt ist.

Es wäre dann natürlich interessant, ob es Gruppen von VPn gibt, die vergleichbare Muster in ihren Antworten haben. Es kann zB. Menschen geben, die haben keinen Humor, und die finden Massnahmen nicht lustig und gleichzeitig auch nicht interessant, wohingegen Menschen mit Humor dieselben Maßnahmen sowohl lustig als auch interessant finden usw. Man würde solche Zusammenhänge mit einer Clusteranalyse untersuchen. Durch eine Hauptkomponentenanalyse könnte man auch noch in Erfahrung bringen, welche Merkmalskombination den größten Einfluß auf den Erfolg einer Werbemaßnahme hat usw.

LG
Jochen

JPL · 19. November 2008 um 09:27

Hi,

erstnmal kommt das Datenmanagement bevor eine Analyse gemacht werden kann
Also:
sinnvoll ist die Aufbereitung der Daten in spaltenorientierter Form, d.h. es gibt eine Spalte mit der personennummer, eine Spalte mit der Maßnahme und eine Spalte mit der Antwort.
Z.B.

Wie man schon sieht, geht es um scores, nicht um metrische Daten, deswegen ist eine ANOVA eigentlich nicht zulässig.
Zwar gibt es das paper von Rahlfs (Scores: ordinal data with few categories - how should they be analyzed?) von 1993, der zu dem Schluß kommt, dass es ab 5 Kats okay wäre, eine ANOVA zu machen, aber mittlerweile hat sich einiges getan und man kann das schon wesentlich besser machen.

Hedeker hat z.B. in „A mixed-eects multinomial logistic regression model“ (2003) ein ebensolches Modell vorgestellt oder auch Clayton (schon 1992) in „Repeated ordinal measurements: a generalised
estimating equation approach“ (was allderings ein wenig sophisticated ist), ein anderer Ansatz (über AUCs) wurde von Lui 2004 vorgeschlagen: „Testing non-inferiority (and equivalence) between two
diagnostic procedures in paired-sample ordinal data“. Es gibt also noch allerhand anderes als immer nur dasselbe Zugpferd namens ANOVA (das übrigens auch wieder seine eigenen Tücken hat).

Verloren ist also noch nichts, aber bevor du dich für eine Methode der Auswertung entscheidest, musst du dir erst noch die Hypothese überlegen, die spilet da nämlich noch massiv mit rein.

Grüße,
JPL

Jo1_a88223 · 19. November 2008 um 09:45

Hi JPL,

Danke für die Antwort.

Hast Du hierfür eine Quelle:

[…], ob man Abhängigkeiten berücksichtigen muss. Das
is ja schon ein alter Hut.

Ich sehe nicht so ganz den Punkt, warum man sich des Betrugs (und nicht nur der Dummheit) schuldig machen soll, wenn man *eigentlich* gepaarte Daten ungepaart auswertet. Man kommt nur dann zu falschen Ergebnissen, wenn die man bei der ungepaarten Analyse Daten gezielt rauswirft (was ja ganz klar eine Todsünde ist).

Ich denke da immer an so ein Beispiel:

Man misst den Blutdruck vor und nach einer Tasse Kaffee. Klar haben einige VPn sowieso schon einen höheren, andere einen niedrigeren Blutdruck. Schon vor dem Versuch ist die Stabw. (s) zwischen den VPn meinetwegen 20mmHg, nach der Tasse Kaffee auch. Wenn nun die Tasse Kaffee den Blutdruck tatsächlich im Mittel um 0.5mmHg anhebt, dann würde man das hinter der vergleichsweise großen Streuung nicht sehen. Ohne a-priori-Planung mit Festlegung einer Power kann man dann nur sagen: Wir haben nix gefunden (nicht zu verwechseln mit der Aussage: „Kaffee hat keinen Effekt“!). Hätte man eine a-priori Planung gemacht, wüsste man um die riesige Varianz und hätte wohl tausende VPn untersuchen müssen, wobei dann das Ergebnis ja auch wieder stat. sign. ausgefallen wäre. Schaue ich mir hingegen die Differenzen je VP an, reichen schon sehr viel weniger, um den Kaffee-Effekt zu erkennen.

Ok, nehmen wir an, der Kaffee hat tatsächlich keinen Effekt. M.W. *kann* das Risiko eines Typ-I-Fehlers bei einer ungepaarten Analyse unmöglich größer sein, als bei einer gepaarten Analyse. Das müsste aber doch denkbar sein, wenn Statistiker sagen, dass man dann keine ungepaarte Analyse machen *darf* - ?

Schlußendlich, was ist mit Daten, wo wir nicht wissen, ob eine Paarung vorliegt?^{()^{Dürfte man nicht ungepaart auswerten, wenn die Daten in Wahrheit gepaart sind, dann müßte man die Analyse in solchen Fällen ganz bleiben lassen.

⁽})^{Zugegeben hypothetisch - mir fällt auch kein Beispiel dazu ein…

LG
Jochen}}

JiNi_56702e · 19. November 2008 um 09:49

oh je anscheinend hab ich mir da ja wirklich was eingebrockt…
aber danke für eure Hilfe! Mal schauen, wie ich den Karren wieder aus dem Dreck kriege…

JPL · 19. November 2008 um 11:54

Hi Jochen,

Danke für die Antwort.

wie imme gerne!

Hast Du hierfür eine Quelle:

[…], ob man Abhängigkeiten berücksichtigen muss. Das
is ja schon ein alter Hut.

Nein, die guidelines schweigen sich dazu aus. Aber das issue selber ist altbekannt und wenn man offensichtlich abhängige Daten wie unabhängig analysiert, muss man schon eine gute Begründung in der Tasche haben (und vor allem eine bessere als: Nach der Dateneingabe hat man das nicht erkennen können).

Ich sehe nicht so ganz den Punkt, warum man sich des Betrugs
(und nicht nur der Dummheit) schuldig machen soll, wenn man
*eigentlich* gepaarte Daten ungepaart auswertet. Man kommt nur
dann zu falschen Ergebnissen, wenn die man bei der ungepaarten
Analyse Daten gezielt rauswirft (was ja ganz klar eine
Todsünde ist).

Naja, es kommt vor allem auf die Hypothese an. Wenn ich einen Unterscheid zeigen will, hab ich halt selber schuld, dass ich nix finde, wenn ich aber Gleichheit zeigen will (und das am besten auch noch über einen Test auf Unterschied) und ich analysiere die Daten wie ungepaart, dann !huch! hab ich keinen Unterscheid mehr und deklariere glückselig, dass alles im grünen Bereich ist.

Dein Beispiel passt, aber ich denke immer eher an den umgekehrten Fall (wie oben beschrieben).
Nicht dürfen ist natürlich so eine Sache. aber andererseits ist man doch an guten und richtigen Schätzern interessiert und die hängen auch davon ab, ob man das richtige tool wählt (kein Excel für Statistik )

Schlußendlich, was ist mit Daten, wo wir nicht wissen, ob eine
Paarung vorliegt *Dürfte* man nicht
ungepaart auswerten, wenn die Daten in Wahrheit gepaart sind,
dann müßte man die Analyse in solchen Fällen ganz bleiben
lassen.

Das ist ein haariger Punkt. Es gibt ja eigentlich rein rechnerisch immer eine zusammenhang zwischen zwei Größen (es sei denn sie sind entsprechend modelliert worden), und wenn noch so klein ist.
Der stat. Nachweis der unabhängigkeit ist ja ebenso mühsam wie der der Suffizienz. also behilft man sich mti dem offensichtlichen: Gleiche Versuchsperson => abhängig, sonst eben nicht.
Unbekannter Zusammenhang existiert also immer, ist aber oft verschwindend gering. Wenn der Effekt groß ist, sollte er auch „sichtbar“ sein.

Grüße,
JPL

JPL · 19. November 2008 um 11:57

am besten löcherst du uns weiter mit Fragen
aber lass dich von Jochen nicht zu sehr zu weiteren möglichen Hypothesen verleiten, sondern mach erstmal die Kernaussage

(sorry Jochen, aber das konnte ich mir nicht verkneifen, du hast zwar recht mit den interessanten weiteren Fragen, aber hübsch eins nach dem anderen, oder?)

Jo1_a88223 · 19. November 2008 um 12:22

Hallo,

[…]muss man schon eine gute
Begründung in der Tasche haben (und vor allem eine bessere
als: Nach der Dateneingabe hat man das nicht erkennen können).

Naja, *DAS* ist ja wohl klar…

[…] wenn ich aber Gleichheit zeigen will (und das am
besten auch noch über einen Test auf Unterschied) und ich
analysiere die Daten wie ungepaart, dann !huch! hab ich keinen
Unterscheid mehr und deklariere glückselig, dass alles im
grünen Bereich ist.

Ah, daran habe ich zwar garnicht gedacht, aber trotzdem war die Lösung dazu in meiner Antwort (glaub’ ich…):

Ich sagte ja, dass man ggf. eine Power-Analyse machen muss und dann eben sehr große Stichproben braucht, wenn die Daten durch Varianz verhagelt ist (meinetwegen die VP-Varianz, die man durch adäquate gepaarte Analyse ja rausrechnen würde). Nun, um zu zeigen, dass *kein* Unterschied existiert, *muss* man eine Power-Analyse machen (sonst nehme ich dafür grundsätzlich einen Stichprobenumfang von n=2, dann kann nicht viel passieren ). Wenn man die nun macht, muss man sich für einen relevanten Mindestunterschied festlegen, und den wird man mit der gegebenen Power auch finden, wenn er denn da ist. Klar, dass für solche Analysen die Power >95% und der relevante Mindesteffekt „klein“ sein sollte - und dafür werden die Stichproben mitunter schon recht groß, insbesondere wenn die Varianz im Vgl. zum Effekt groß ist. Hier würde die gepaarte Analyse nur den nötigen Stichprobenumfang herabsetzen. Ohne Power-Analyse würde ich eine Untersuchung auf Gleichheit niemalsnicht machen.

Nicht dürfen ist natürlich so eine Sache. aber andererseits
ist man doch an guten und richtigen Schätzern interessiert und
die hängen auch davon ab, ob man das richtige tool wählt (kein
Excel für Statistik )

Ja, das ist ja sonnenklar. Wenn ich einen Führerschein habe, schiebe ich mein Auto ja auch nicht (sondern ich fahre damit). Derjenige, der (aus Dummheit) sein Auto trotzdem schiebt, kommt ja auch an (d.h., die Schätzer sind schon erwartungstreu und auch konsistent und, so denke ich, auch ebenso suffizient), eben mit deutlich mehr Anstrengung/Aufwand (geringe Effizienz). Sofern er andere damit nicht behindert, gibt es doch da auch keinen Grund, ihm das Schieben zu verbieten…

LG
Jochen

Jo1_a88223 · 19. November 2008 um 12:23

(sorry Jochen, aber das konnte ich mir nicht verkneifen, du
hast zwar recht mit den interessanten weiteren Fragen, aber
hübsch eins nach dem anderen, oder?)

Jawoll! Sorry!!

Alles wird gut!

LG
Jochen

aiwendil · 19. November 2008 um 13:40

Aber wenn ich alles hintereinander eingeben würde also für
eine &gt:stuck_out_tongue_winking_eye:erson eine Zeile und dafür einfach mehr Variablen
habe könnte ich wohl die einzelnen Variablen nicht
vergleichen.

Doch.

also die eine werbung wie
gut gefallen, dahinter dann wie interessant, usw. und das für
jede maßnahme und alles als Variablen.

Genau. In SPSS gibt man das so ein, um einen t-Test für abhängige Stichproben rechnen zu können.

Und das solltest Du tun, weil bei Dir die gleichen Personen die Fragen beantwortet haben. Es ist nicht angemessen, die Antworten der gleichen Personen so zu behandeln, als seien es Antworten verschiedener Personen.

Beste Grüße

aiwendil · 19. November 2008 um 13:48

Müssen? Warum?

wegen der korrelierten Fehler in within-subjects designs. Wendet man in solchen Fällen between-subjects-Methoden wie den t-Test für unabhängige Stichproben oder die between-subjects-ANOVA an, ist eine der wichtigsten Voraussetzungen dieser Verfahren - die Annahme unabhängiger Fehler - verletzt und die Ergebnisse sind statistisch nicht mehr valide.

„For most behavioral phenomena, there are systematic individual differences between subjects, creating a correlation between the errors. Second, in general, ANOVA is not robust to violations of the independence assumption. For these reasons, we need to employ different data-analysis procedures for the within-subjects design that we used in the between-subjects design“.

Maxwell, S. E. & Delaney, H. D. (2004). Designing experiments and analyzing data. Mawah, NJ: Erlbaum.

Jo1_a88223 · 19. November 2008 um 13:53

DANKE !!!

LG
Jochen

JPL · 19. November 2008 um 14:28

Hi Jochen,

Ich sagte ja, dass man ggf. eine Power-Analyse machen muss und
dann eben sehr große Stichproben braucht, wenn die Daten durch
Varianz verhagelt ist (meinetwegen die VP-Varianz, die man
durch adäquate gepaarte Analyse ja rausrechnen würde). Nun, um
zu zeigen, dass *kein* Unterschied existiert, *muss* man eine
Power-Analyse machen (sonst nehme ich dafür grundsätzlich
einen Stichprobenumfang von n=2, dann kann nicht viel
passieren ). Wenn man die nun macht, muss man sich für
einen relevanten Mindestunterschied festlegen, und den wird
man mit der gegebenen Power auch finden, wenn er denn da ist.
Klar, dass für solche Analysen die Power >95% und der
relevante Mindesteffekt „klein“ sein sollte - und dafür werden
die Stichproben mitunter schon recht groß, insbesondere wenn
die Varianz im Vgl. zum Effekt groß ist. Hier würde die
gepaarte Analyse nur den nötigen Stichprobenumfang
herabsetzen. Ohne Power-Analyse würde ich eine Untersuchung
auf Gleichheit niemalsnicht machen.

Aber das setzt ebn voraus, DASS man sich schon vor der Erhebung der Daten mit der Analyse beschäftigt hat und das liegt hier ja nicht vor.
Im Unwissen über die Hypothese und über die Effektsize würde ich daher nicht dazu raten, die Daten unverbunden zu analysieren, da dann genau der Fall eintreten kann, den du erwähnt hast.
Ansonsten hast du vollkommen recht.

Ja, das ist ja sonnenklar. Wenn ich einen Führerschein habe,
schiebe ich mein Auto ja auch nicht (sondern ich fahre damit).
Derjenige, der (aus Dummheit) sein Auto trotzdem schiebt,
kommt ja auch an (d.h., die Schätzer sind schon erwartungstreu
und auch konsistent und, so denke ich, auch ebenso
suffizient), eben mit deutlich mehr Anstrengung/Aufwand
(geringe Effizienz). Sofern er andere damit nicht behindert,
gibt es doch da auch keinen Grund, ihm das Schieben zu
verbieten…

Aber wenn er wegen des Scheiebns zu den Aussage kommt, dass er mit seinem SUV weniger Sprit verbraucht als mit einem Corsa, würde ich das schon stutzig machen.

Ich denke, wenn jemand sich gut in statistik auskennt, kann er sich mit den Gedanken tragen, Abhängigkeiten zu ignorieren, weil er sie auch gut (hoffentlich) begründen kann und sich der Konsequenzen bewusst ist. Aber einem Laien zu raten, er kann das auch ruhig machen führt nur dazu, dass er denkt: Warum nciht immer so und sich dann nie mehr darum kümmert.

Grüße,
JPL

JiNi_56702e · 19. November 2008 um 14:38

ich streue noch ma ein wenig mein Unwissen rein (ihr habt ja gesagt ich kann noch weitere Fragen stellen )

Ich betrachte ja die Gruppen dann (in diesem Fall die einzelnen Werbemaßnahmen) und da werden ja die jeweiligen Leute betrachtet. Die sind ja unabhängig voneinander. Und da ich ja die ganze Gruppe betrachte ist das dann ja unabhängig. Kann man das so interpretieren??

Liebe Grüße und wirklich BESTEN DANK FÜR DIE REGE TEILNAHME!!!