Darstellung Interrater-Reliabilität?

Hi Zusammen,

für meine Masterarbeit habe ich die Daten von zwei Interratern für drei unterschiedliche Ereignisse(Sitzungen) mit jeweils mehreren Variabeln (die einzeln verglichen wurden).
Gerechnet wurde ICC, two-way random effects model, consistency.

Wie stelle ich die Reliabilität dar? Berechne ich den Mittelwert auf Sitzungsebene? Gebe ich sie pro Variabel an? Kann ich über die GESAMT-Reliabilität über alle drei Sitzungen auch angeben?

Danke für alle Tipps und Anregungen!

Hallo,

es tut mir sehr leid, aber ich kann Ihnen/dir leider nicht weiterhelfen. Sorry!

Gruß,
Cate

Hallo,
ich bin kein Experte auf dem Gebiet der Reliabilität.
Trotzdem ein paar Anmerkungen, die Dir vielleicht weiterhelfen.

Wie stelle ich die Reliabilität dar?

Ich nehme an Du meinst über die drei Sitzungen hinweg. Für die einzelne Sitzung reichen ja die üblichen Standardmaße (siehe Wikipedia).

Berechne ich den
Mittelwert auf Sitzungsebene?

Sicher nicht. Du willst nicht den Mittelwert, sondern ein Zusammenhangsmaß zwischen „Ratern“ bezogen auf die gemessenen Variablen oder Sitzungen.

Gebe ich sie pro Variabel an?

Wenn alle drei Sitzungen die gleichen Variablen gemessen haben, dann kannst Du die Sitzungen über die Variablen „poolen“ und eine Matrix aus „Rater“ x „Variablen“ betrachten.

Kann ich über die GESAMT-Reliabilität über alle drei :Sitzungen auch angeben?

Ja, wenn die Variablen die selbe Skala messen (-> Cronbachs alpha), oder wenn sich sich über die Variablen „poolen“ lassen, siehe oben.

Gruß
Winfried

Sorry, da kann ich dir leider nicht helfen. Gruß Robert

hallo, kann mich nicht erinnern, dass ich mich als experte zum thema empirischer sozialforschung eingetragen habe. also - die mailanfrage kann ich leider nicht beantworten.

Hallo,

die Frage ist schwer zu beantworten, weil es m.E. hier keine „das macht man so“ Antwort geben kann. Du musst dir für dich überlegen, wie Reliabilität in dieser Anwendung definiert sein muss, damit man zu sinnvollen Aussagen kommt. Wenn dir das klar ist, dann sollte dir auch klar sein, wie du vorgehen musst. Das können dann auch mal mehrere SChritte oder Sichtweisen sein.

Herzliche Grüße, Andreas

Hallo,

tut mir leid, aber auf diesem Gebiet habe ich kaum Ahnung.

Gutes Gelingen bei der Master-Arbeit!

Viele Grüße
A.