Reaktionszeiten und Speed-/Accuracy-Tradeoff

Wissenschaft Psychologie
#1

Hallo,

ich habe folgende Daten:

(1) Fehlerraten von Versuchspersonen in drei Gruppen (between)
(2) Reaktionszeiten von denselben Versuchspersonen

Nun zeigen die Fehlerraten ein bestimmtes Muster. Die ANOVA sagt, dass bezüglich der Fehlerraten zwischen den Gruppen bestimmte Unterschiede bestehen.
Wenn ich mir die Reaktionszeiten anschauen, sind die hingegen alle ähnlich und eine ANOVA sagt mir, dass die sich nicht unterscheiden. Daher wäre für mich die Sache gegessen. Reaktionszeiten gleich heisst für mich kein Speed/Accuracy-Tradeoff.

Nun hat mir ein Kommiltone aber gesagt, dass ich die Reaktionszeiten gar nicht so analysieren kann, sondern irgendwelche Korrelationen berechnen und die dann vergleichen muss. Leider habe ich im Netz nicht das gefunden, womit ich weiterkomme, deshalb stelle ich hier die Frage und bitte um Hilfe!

Vielen Dank!

Scarlatti

#2

Hi Scarlatti,

dein Kollege hat da irgendwie recht.
Du hast wiederholte Messungen zwischen 3 Gruppen. die Messungen von einer Versuchsperson hängen logischerweise zusammen, die zwischen den VP nicht. Diese Korrelation sollte man berücksichtigen in der Analyse. stichwort repeated measurements desings.
In bezug der Wiederholung kommt es noch drauf an, ob nun alle alle treatments gehabt haben oder einfach nur mehrmals gemessen wurde … dazu hast du bisher zu wenig geschrieben um das bewerten zu können.
Fernen musst du schaien, ob die voraussetzungen für eine ANOVA überhaut gegeben ist: Dazu das entsprechende Model fitten und die Residuen(!) klassisch auf Normalverteilung prüfen und sich einen QQ-Plot ausgeben lassen.
so viel in Kürze dazu,
Grüße,
JPL

#3

Hallo,

danke für deine Antwort!

Du hast wiederholte Messungen zwischen 3 Gruppen.

Ich habe nur eine Messung, bei der ich zwei verschiedene Variablen aufnehme. Es ist einfach ein Wiedererkennungstest, indem die Versuchsperson entscheiden soll, ob ein Item im vorherigen Durchgang vorkam oder nicht. Habe also Targets und Distraktoren. Ich gebe die Instruktion, möglichst schnell zu entscheiden. Wie erwartet bewegen sich die Reaktionszeiten „between“ auf ähnlichem Niveau, während sich die entsprechenden Fehlerraten unterschieden. Dennoch möchte ich gerne auf den Speed/Accuracy - Tradeoff überprüfen.

man berücksichtigen in der Analyse. stichwort repeated
measurements desings.

Repeated Measures mache ich doch bei Within-Faktoren oder Messwiederholung. Du meinst, ich sollte Fehlerrate und Reaktionszeit als Ausprägung desselben Faktors behandeln??

Fernen musst du schaien, ob die voraussetzungen für eine ANOVA
überhaut gegeben ist: Dazu das entsprechende Model fitten und
die Residuen(!) klassisch auf Normalverteilung prüfen und sich
einen QQ-Plot ausgeben lassen.

DAnke für den Hinweis!

Scarlatti

#4

Hi,

vesteh’ ich noch nicht ganz.
Im ersten lauf bekommt Testperson 1 aus Gruppe A x items gezeigt, später wieder (aber in anderer Reihenfolge und / oder mit anderem Inhalt) und soll zu jedem entscheiden, ob das item dabei war. Dabei wird die antwortzeit T in sec gemessen und ob die Einschätzung Y richtig war.
Deine bisherige folgerung nun: R ist zwichen den Gruppen (wodruch unterscheiden die sich?) recht ähnlich, aber Y schwankt.
Wichtig ist zu wissen, wie viele items von jedem bewertet werden, ob die ggf mehrfach gezeigt werden, ob es schwierigere items gibt oder nicht, ob man genau das item erkennen muss (rotes Audi-Cabroi vor blauem Grund) oder nur Ähnlichkeiten (rotes Auto), ob die Einschätzung nur beinhaltet: war dabei / war nicht dabei oder auch die Lage/Reihenfolge und ob alle dieselbe chance haben, alles richtig zu machen (es sind z.B. immer 20% der Bilder nicht vorhanden gewesen oder ist das eine zufällige Zahl?). Bewertet man alle drei möglichkeiten der Falschantwort gleich?

Viele Grüße,
JPL

#5

vesteh’ ich noch nicht ganz.
Im ersten lauf bekommt Testperson 1 aus Gruppe A x items
gezeigt, später wieder (aber in anderer Reihenfolge und / oder
mit anderem Inhalt) und soll zu jedem entscheiden, ob das item
dabei war. Dabei wird die antwortzeit T in sec gemessen und ob
die Einschätzung Y richtig war.

Richtig. Es ist ein Lernexperiment. Lerndurchgang bekommen die Versuchspersonen Items dargeboten und sollen dann später im Wiedererkennungstest entscheiden, ob die dort dargebotenen Items zu den Items der Lernphase gehören (Antwort: Ja) oder nicht (Antwort: Nein). Es gibt also vier mögliche Fälle:

  • Item(Lernphase)/ Ja = RICHTIG
  • Item(Lernphase)/ Nein = FEHLER
  • Distraktor / Ja = FEHLER
  • Distraktor / Nein = RICHTIG

Deine bisherige folgerung nun: R ist zwichen den Gruppen
(wodruch unterscheiden die sich?) recht ähnlich, aber Y
schwankt.

Die drei Gruppen benutzen unterschiedliche Lernmethoden. Da die Instruktion im Wiedererkennungstest dann lautet, man solle so schnell wie möglich entscheiden, sind die Reaktionszeiten erwartungsgemäß ähnlich, während die Fehlerraten sich zwischen den Gruppen unterscheiden.

Wichtig ist zu wissen, wie viele items von jedem bewertet
werden,

exakt 22.

ob die ggf mehrfach gezeigt werden,

nein

ob es schwierigere items gibt oder nicht

Es gibt noch einen Within-Faktor. Eine Gruppe von Items ist einfach zu lernen, eine schwerer.

ob man genau das item erkennen muss

ja. es muss genau sein. Die Distraktoren sind den Targets sehr ähnlich.

ob die Einschätzung nur beinhaltet: war dabei /
war nicht dabei

Genau. Nur das.

dieselbe chance haben, alles richtig zu machen (es sind z.B.
immer 20% der Bilder nicht vorhanden gewesen oder

ja, das Verhältnis ist immer gleich bei jedem Teilnehmer.

Bewertet man alle drei möglichkeiten der
Falschantwort gleich?

Habe ich bisher so gemacht.

Dank nochmal für deine Mühe. Ich hoffe du verstehst jetzt ungefähr, was ich meine.

Ich möchte wissen, ob die Unterschiede in Y als wirkliche Treatmenteffekte gelten können. Da die Reaktionszeiten gleich sind zwischen den Gruppen, habe ich das einfach als „kein Tradeoff“ betrachtet. Aber angeblich muss man da wohl etwas kompliziertere Berechnungen anstellen.

Viele Grüße,

Alex

#6

Hi Alex,

Richtig. Es ist ein Lernexperiment. Pro Lerndurchgang bekommen die
Versuchspersonen Items dargeboten und sollen dann später im
Wiedererkennungstest entscheiden, ob die dort dargebotenen
Items zu den Items der Lernphase gehören (Antwort: Ja) oder
nicht (Antwort: Nein).

Wieviele Lerndurchgänge gibt es? dann hast du nämlich ein repeated design, sobal es mehr als 1 durchgang ist.

Es gibt also vier mögliche Fälle:

  • Item(Lernphase)/ Ja = RICHTIG
  • Item(Lernphase)/ Nein = FEHLER
  • Distraktor / Ja = FEHLER
  • Distraktor / Nein = RICHTIG
    Es gibt noch einen Within-Faktor. Eine Gruppe von Items ist
    einfach zu lernen, eine schwerer.

Bewertet man alle möglichkeiten der Falschantwort gleich?

Habe ich bisher so gemacht.

Hm, wenn es aber schwerer zu widererkennende items gibt, wie wird das dann berücksichtigt?

Deine bisherige folgerung nun: R ist zwichen den Gruppen
(wodruch unterscheiden die sich?) recht ähnlich, aber Y
schwankt.

Die drei Gruppen benutzen unterschiedliche Lernmethoden. Da
die Instruktion im Wiedererkennungstest dann lautet, man solle
so schnell wie möglich entscheiden, sind die Reaktionszeiten
erwartungsgemäß ähnlich, …

Was heisst ähnlich?
wenn du auf dn tradeoff hienaus willst, solltest du ja eine aussage wie „Fehlerrate / Zeit“ oder so etwas auswerten. Es kann sein, dass eine Lernemthode zwar nur unmerkliche Verlängerungen hervorruft, aber trotzdem nicht besser ist. das würde dann bei einer reinen Betrachtung der Fehlerraten nicht erkannt werden.

Zusammengefasst: Es gibt 4 Gruppen (verschiedene lernmethoden, gibts auch ne Kontrolle?), mit je x Personen die 22 items (z1 leicht, z2 schwer) in y Durchgängen bewerten sollen. Gemessen wird Reaktionszeit (msec?) und fehlerrate ®.

Ließe man die Reaktionszeit weg, wäre das ein repeated measured design für anteile, GEEs kämen da in Frage. Würde man R/mittlere Reaktionszeit auswerten wollen, wird das eine nichtparametrische Fragestellung (gg. dann nicht, wenn x sehr groß ist). Es gibt eine nichtparametrische ANOVA, die evtl auch für repeated geht (hab’s nicht probiert), aber das ist nicht gerade einfach.

Grüße,
JPL

#7

Guten Tag,

Wieviele Lerndurchgänge gibt es? dann hast du nämlich ein
repeated design, sobal es mehr als 1 durchgang ist.

Es gibt nur einen Lerndurchgang und einen Testzeitpunkt. Für die Fehlerraten habe ich eine ANOVA Repeated Measures gewählt, mit der Itemausprägung (schwer/leicht) als Within-Faktor. Between sind natürlich die Lernmethoden. Von den drei Lernmethoden ist eine bereits eine Kontrollgruppe. Also 3 x 2-Design.

Hm, wenn es aber schwerer zu widererkennende items gibt, wie
wird das dann berücksichtigt?

Ja, siehe oben (Within-Variable)

die Instruktion im Wiedererkennungstest dann lautet, man solle
so schnell wie möglich entscheiden, sind die Reaktionszeiten
erwartungsgemäß ähnlich, …

Was heisst ähnlich?

Also wenn man eine ANOVA auf die Reaktionszeiten macht, kommt da kein Unterschied zwischen den Lernmethoden raus. Also mit ähnlich meinte ich eigentlich „nicht signifikant unterschiedlich“

wenn du auf dn tradeoff hienaus willst, solltest du ja eine
aussage wie „Fehlerrate / Zeit“ oder so etwas auswerten.

Ja, meine Denke dabei ist folgende: wenn ich für jede Gruppe im Schnitt gleiche Reaktionszeiten bekomme, dann wird bei „Fehlerrate / Zeit“ aber auch in jeder Gruppe das gleiche im Nenner stehen. also wird in jeder Gruppe die gleiche Division stattfinden und das ganze dürfte auf einen Test auf Between-Effekte keine Auswirkungen haben.
Oder ist das zu einfach gedacht und ich muss das ganze für jede Versuchsperson machen??

Zusammengefasst: Es gibt 4 Gruppen (verschiedene lernmethoden,
gibts auch ne Kontrolle?),

3 Gruppen, wovon eine die Kontrollgruppe ist.

mit je x Personen die 22 items (z1
leicht, z2 schwer) in y Durchgängen bewerten sollen.

Ja.

Gemessen
wird Reaktionszeit (msec?) und fehlerrate ®.

Ja.

Ließe man die Reaktionszeit weg, wäre das ein repeated
measured design für anteile, GEEs kämen da in Frage.

GEE?

R/mittlere Reaktionszeit auswerten wollen, wird das eine
nichtparametrische Fragestellung (gg. dann nicht, wenn x sehr
groß ist). Es gibt eine nichtparametrische ANOVA, die evtl
auch für repeated geht (hab’s nicht probiert), aber das ist
nicht gerade einfach.

Uhh… hoffentlich lässt sich das vermeiden…

Viele Grüße,

Scarlatti

#8

Hi Scarlatti,

wir kreisen die Methode ein :smile:

Es gibt nur einen Lerndurchgang und einen Testzeitpunkt.

good news.

Für die Fehlerraten habe ich eine ANOVA Repeated Measures gewählt,
mit der Itemausprägung (schwer/leicht) als Within-Faktor.
Between sind natürlich die Lernmethoden. Von den drei
Lernmethoden ist eine bereits eine Kontrollgruppe. Also 3 x
2-Design.

wobei ANOVA und rates nicht gerade zwei dinge sind, die hand in Hand gehen.

Hm, wenn es aber schwerer zu widererkennende items gibt, wie
wird das dann berücksichtigt?

Ja, siehe oben (Within-Variable)

Okay, im GEE (general estimation equation) müsste das gehen.

Also wenn man eine ANOVA auf die Reaktionszeiten macht, kommt
da kein Unterschied zwischen den Lernmethoden raus. Also mit
ähnlich meinte ich eigentlich „nicht signifikant
unterschiedlich“

wobei reaktionszeit eher eine survival analysis (eigentlich time-to-event-analysis) ist, als eine ANOVA. Auch hier sollte man die Kovariable schwer/leicht mit einbauen.

Ja, meine Denke dabei ist folgende: wenn ich für jede Gruppe
im Schnitt gleiche Reaktionszeiten bekomme, dann wird bei
„Fehlerrate / Zeit“ aber auch in jeder Gruppe das gleiche im
Nenner stehen. also wird in jeder Gruppe die gleiche Division
stattfinden und das ganze dürfte auf einen Test auf
Between-Effekte keine Auswirkungen haben.
Oder ist das zu einfach gedacht und ich muss das ganze für
jede Versuchsperson machen??

Nein, ein Ansatz ist das jedenfalls. Also:
a) GEE mit fehlerrate= treatment+within-faktor;
b) time-to-event-analysis mit reaktionszeit=treatment+within-faktor.
In b) sollte dann das treatment nicht sig. werden, dann könnte man das so machen.
in a) dient der within nur zur adjustierung, was da rauskommt ist eigentlich egal. Ggf ist aber noch within*treatment interessant.

R/mittlere Reaktionszeit auswerten wollen, wird das eine
nichtparametrische Fragestellung (gg. dann nicht, wenn x sehr
groß ist). Es gibt eine nichtparametrische ANOVA, die evtl
auch für repeated geht (hab’s nicht probiert), aber das ist
nicht gerade einfach.

Uhh… hoffentlich lässt sich das vermeiden…

wenn a) und b) so nicht klappen oder du noch Zeit Lust hast kannst du folgendes machen:
Pro VP und item und prä/post rechnest du z=y/msec und dann z_post_z_prä (sollte bei Lernerfolg

#9

Hallo JLP,

erst einmal herzlichen Dank für Deine Hilfe. Jetzt kapier ich schon deutlich mehr!

wobei ANOVA und rates nicht gerade zwei dinge sind, die hand
in Hand gehen.

Ja, aber Experimentalpsychologen können halt nichts anderes als ANOVA :stuck_out_tongue: Nee, im Ernst. Ich lese oft, dass ANOVA bei Reaktionszeitexperimenten, explizit auch bei Fehlerraten angewendet wird. Mulmig ist einem dann schon dabei.

wobei reaktionszeit eher eine survival analysis (eigentlich
time-to-event-analysis) ist, als eine ANOVA. Auch hier sollte
man die Kovariable schwer/leicht mit einbauen.

Ja, ich hatte natürlich auch eine Repeated Measures ANOVA auf die Reaktionszeiten gemacht.

Nein, ein Ansatz ist das jedenfalls. Also:
a) GEE mit fehlerrate= treatment+within-faktor;
b) time-to-event-analysis mit
reaktionszeit=treatment+within-faktor.

Ok, ich probiere das jetzt und wenn es funzt, dann überrede ich meinen Betreuer, dass man das so machen kann. :smile:

wenn a) und b) so nicht klappen oder du noch Zeit Lust hast
kannst du folgendes machen:
Pro VP und item und prä/post rechnest du z=y/msec und dann
z_post_z_prä (sollte bei Lernerfolg

#10

Hi Scarlatti,

erst einmal herzlichen Dank für Deine Hilfe. Jetzt kapier ich
schon deutlich mehr!

Sehr gut :smile:

wobei ANOVA und rates nicht gerade zwei dinge sind, die hand
in Hand gehen.

Ja, aber Experimentalpsychologen können halt nichts anderes
als ANOVA :stuck_out_tongue: Nee, im Ernst. Ich lese oft, dass ANOVA bei
Reaktionszeitexperimenten, explizit auch bei Fehlerraten
angewendet wird. Mulmig ist einem dann schon dabei.

Zurecht. Oft wird einfch nur gemacht was man schon kennt. Wobei die meisten gar nicht wissen, was man _wirklich_ alles mit einer ANOVA machen kann.

wobei reaktionszeit eher eine survival analysis (eigentlich
time-to-event-analysis) ist, als eine ANOVA. Auch hier sollte
man die Kovariable schwer/leicht mit einbauen.

Ja, ich hatte natürlich auch eine Repeated Measures ANOVA auf
die Reaktionszeiten gemacht.

Genaugenommen musst du eine repated time to event analysis machen (gap time analysis: http://polisci.osu.edu/faculty/jbox/papers/repeatede…)
Es gäbe auch eine Möglichkeit eine joint-analysis zu machen (also a) und b) wieder zusammen auszuwerten), siehe hier http://www.liv.ac.uk/joine-r/BackgroundReading2.pdf Kap 3.3.

Nein, ein Ansatz ist das jedenfalls. Also:
a) GEE mit fehlerrate= treatment+within-faktor;
b) time-to-event-analysis mit
reaktionszeit=treatment+within-faktor.

Ok, ich probiere das jetzt und wenn es funzt, dann überrede
ich meinen Betreuer, dass man das so machen kann. :smile:

Prima!

wenn a) und b) so nicht klappen oder du noch Zeit Lust hast
kannst du folgendes machen:
Pro VP und item und prä/post rechnest du z=y/msec und dann
z_post_z_prä (sollte bei Lernerfolg