Statistik-Problem

[Jo1_a88223]

Hallo,

Es geht um’s „Poolen“:

Nehmen wir an, ich habe 2 Gruppen mit je N Proben. Die Werte in den Gruppen seien normalverteilt und haben die gleicher Varianz (var_N). Nun kann ich die Power für einen 2-seitigen 2-Stichproben t-Test berechnen.

Beispiel:

N = 12 je Gruppe
var_N = 1
alpha = 0.05
delta = 1 (Mittelwert-Unterschied, „Effekt“)

-> Power = 0.649

Nun sind Messungen sehr teuer und man möchte immer n Proben poolen. Die Pools sollten immer gleich groß sein, weil das optimal ist. Bei N=12 ergeben sich zB. ja folgende mögliche n’s: 2, 3, 4 und 6.

Für eine Pool-Größe von n=3 macht man zB. je Gruppe nur N/n = 4 Messungen. Der t-Test hat also einen kleineren effektiven Stichprobenumfang, die gemessenen Werte sind aber schon Mittelwerte und haben eine kleinere Varianz, nämlich var_n = var_N/n.

Kann man ausrechnen:

n = 4 je Gruppe(Pool!)
var_n = 1/4
alpha = 0.05
delta = 1 (Mittelwert-Unterschied, „Effekt“)

-> Power = 0.537

Alles schön und gut. Aber ich habe folgendes Problem :

Wenn ich den Effekt von „Poolen“ simuliere, dann erhalte ich für die Pools eine deutlich geringere Power. Was ist also falsch?

Wie ich simuliere (ich benutze R):

Ich erzeuge 2 Gruppen mit je 12 normalverteilte Zufallszahlen, Gruppe „x“ mit Mittelwert 0 und Varianz 1, Gruppe „y“ mit Mittelwert delta und Varianz var_N.

Für eine Poolgröße von n=3 berechne ich jeweils die 4 Mittelwerte mx und my:
mx[1]
Poolgröße (n) 1 2 3 4 6
empirisch 0.6460 0.5808 0.4886 0.3682 0.1461
theoretisch 0.6486 0.5991 0.5373 0.4626 0.2908

Die kleinen Abweichungen bei n=1 (also _keine_ Pools) sind im Rahmen statistischer Schwankungen. Mit zunehmender Pool-Größe werden die Abweichungen aber immer größer! Was mache ich falsch? Was verstehe ich nicht? Hilfe, hilfe!

Ach, und ja: die Mittelwerte haben auch eine Varianz von 1/n…

Liebe Grüße,
Jochen

[M_L_]

Auch hallo.

Hallo,

Es geht um’s „Poolen“:

…für eine medizinische Analyse ?

Nehmen wir an, ich habe 2 Gruppen mit je N Proben. Die Werte
in den Gruppen seien normalverteilt und haben die gleicher
Varianz (var_N). Nun kann ich die Power für einen
2-seitigen 2-Stichproben t-Test berechnen.

Beispiel:

N = 12 je Gruppe
var_N = 1
alpha = 0.05
delta = 1 (Mittelwert-Unterschied, „Effekt“)

-> Power = 0.649

Nun sind Messungen sehr teuer und man möchte immer n Proben
poolen. Die Pools sollten immer gleich groß sein, weil das
optimal ist. Bei N=12 ergeben sich zB. ja folgende mögliche
n’s: 2, 3, 4 und 6.

Für eine Pool-Größe von n=3 macht man zB. je Gruppe nur N/n =
4 Messungen. Der t-Test hat also einen kleineren effektiven
Stichprobenumfang, die gemessenen Werte sind aber schon
Mittelwerte und haben eine kleinere Varianz, nämlich
var_n = var_N/n.

Kann man ausrechnen:

n = 4 je Gruppe(Pool!)
var_n = 1/4
alpha = 0.05
delta = 1 (Mittelwert-Unterschied, „Effekt“)

-> Power = 0.537

Alles schön und gut. Aber ich habe folgendes Problem :

Wenn ich den Effekt von „Poolen“ simuliere, dann erhalte ich
für die Pools eine deutlich geringere Power. Was ist also
falsch?

Rein intuitiv und unter Zuhilfenahme von http://www.reiter1.com/Glossar/Glossar_detailliert_I…
http://www.reiter1.com/Glossar/Glossar_detailliert_I…
ist die zu geringe Gruppengrösse das Problem.

Wie ich simuliere (ich benutze R):

R ?

Ich erzeuge 2 Gruppen mit je 12 normalverteilte Zufallszahlen,
Gruppe „x“ mit Mittelwert 0 und Varianz 1, Gruppe „y“ mit
Mittelwert delta und Varianz var_N.

…sollten Analysen auf Stichproben mit Pooling keine Gemeinsamkeiten aufweisen ? Stand doch in einem der links…

Für eine Poolgröße von n=3 berechne ich jeweils die 4
Mittelwerte mx und my:
mx[1]
Poolgröße (n) 1 2 3 4 6
empirisch 0.6460 0.5808 0.4886 0.3682 0.1461
theoretisch 0.6486 0.5991 0.5373 0.4626 0.2908

Die kleinen Abweichungen bei n=1 (also _keine_ Pools) sind im
Rahmen statistischer Schwankungen. Mit zunehmender Pool-Größe
werden die Abweichungen aber immer größer! Was mache ich
falsch? Was verstehe ich nicht? Hilfe, hilfe!

Die Zahlenwerte werden simuliert (diskret oder stetig ?). Mit welchem Generator ? Und welchem Rechner ( 32, 64 Bit) ?

Ach, und ja: die Mittelwerte haben auch eine Varianz von
1/n…

Da soll einer adhoc durchsteigen… *grübel*

Naja, „schau’n mer mal“ (aber erst morgen wieder)
mfg M.L.

[Jo1_a88223]

Huhu!

Danke, dass Du Dich des Problems annimst!

…für eine medizinische Analyse ?

Ja, eigentlich schon. Es geht um Gen-Expressionsanalysen. Wenn Du weitere Infos willst, kannst du nomal nachfragen.

R ?

Ein Open-Source Statistik-Programm, ähnlich wie „S-Plus“, nur eben frei erhältlich. Guckst Du:
http://www.r-project.org/

http://www.r-project.org/
http://cran.r-project.org/

…sollten Analysen auf Stichproben mit Pooling keine
Gemeinsamkeiten aufweisen ? Stand doch in einem der links…

Welche Art Gemeinsamkeiten??

Die Zahlenwerte werden simuliert (diskret oder stetig ?). Mit
welchem Generator ? Und welchem Rechner ( 32, 64 Bit) ?

Ich nutze die Funktion „rnorm“ von R unter 32bit-Windows zur Generierung normalverteilter Zufallszahlen. Der verwendete Generator ist von Profi-Statistikern geprüft und für gut befunden. Ich kenne mich da nicht gut genug aus, um das beurteilen zu können und muss mich auf die Aussagen anderer verlassen.

Voreinstellung für den Generator in R ist „Mersenne-Twister“, vielleicht sagt Dir das was… In der Online-Doku steht dazu:
From Matsumoto and Nishimura (1998). A twisted GFSR with period 2^19937 - 1 and equidistribution in 623 consecutive dimensions (over the whole period). The „seed“ is a 624-dimensional set of 32-bit integers plus a current position in that set.

Als Referenz für die Funktion „rnorm“ in der Hilfe ist angegeben: Becker RA, Chambers JM and Wilks AR (1988) The New S Language. Wadsworth & Brooks/Cole.

Da soll einer adhoc durchsteigen… *grübel*

Bitte, bitte! Frag ruhig nach, wenn was unklar ist!

Naja, „schau’n mer mal“ (aber erst morgen wieder)

Danke!

Beste Grüße,
Jochen

[Jo1_a88223]

Neues von der Front
Hallo,

ich habe inzwischen das Ganze mal für den Ein-Stichproben-Fall durchgespielt. Da funktioniert alles wunderbar.

Ich habe hier also nur die Gruppe „x“ mit Mittelwert „delta“ (und gegebener Varianz). H0 ist entsprechend: x=0.

Ein Ergebnis mit 10000 Wiederholungen („empirisch“), einer Varianz von 1 und einem delta von 1 für insgesamt 12 individuelle x-Werte im Vergleich zu den theoretisch ermittelten Werten für die Power:

Pool-Größe 1 2 3 4 6
empirisch 0.8785 0.7853 0.6412 0.4730 0.2165 
theoretisch 0.8828 0.7891 0.6435 0.4707 0.2142 

So soll’s aussehen! Warum ist das beim 2-Stichprobenfall anders?

Ach ja, Markus:

Die Unterschiede in der Power sind schon bedeutend, weil man eben deutlich mehr Proben benötigt, um einen vorgegebene Power zu erreichen!

LG
Jochen

[Katharina_Sch_ller]

Hallo Jochen,

ich bin gerade unterwegs, aber schick mir doch mal ein Mail mit deinem Problem, denn ich kenne jemanden, der dir sehr wahrscheinlich weiterhelfen kann, der aber nicht in w-w-w ist. Selber wuerde ich gerne, aber ich hab momentan kaum eine freie Minute.

LG
Katharina

[helge_a8d83d]

Hi,

ich weiss nicht, ob ich deine langen Ausführungen 100% verstanden habe.
Durch das Aufspalten einer Stichprobe verringerst du zwar die Varianz der Unterstichproben, aber auch die Anzahl Freiheitsgrade.
Dass diese beiden Komponenten sich genau aufheben sollen, bezweifle ich sehr.

Oder aber:
Wer sagt denn, dass R wirklich gut simuliert?
Du simulierst zwar 10.000 mal, schaust aber lediglich nach dem äussersten Schwanz der Verteilung.

Gruss,

[Jo1_a88223]

Hallo Helge,

Durch das Aufspalten einer Stichprobe verringerst du zwar die
Varianz der Unterstichproben, aber auch die Anzahl
Freiheitsgrade.

Ja, klar.

Dass diese beiden Komponenten sich genau aufheben sollen,
bezweifle ich sehr.

Nein, nein - es geht _nicht_ darum, dass sich die Komponenten aufheben. NATÜRLICH hat man mit weniger Experimenten (und gepootlen Proben) eine geringere Power.

Das Problem ist, dass die Abnahme der Power mit zunehmender Pool-Größe bei simulierten Werten STRÄRKER ist, als wenn man die Power anhand der Pool-Varianzen und Pool-Anzahlen direkt berechnet.

Wer sagt denn, dass R wirklich gut simuliert?

Wenn R schlecht simulieren würde, wären eine ganze Menge von Publikationen recht fragwürdig. Da glaube ich nicht dran.

Oder aber:
Du simulierst zwar 10.000 mal, schaust aber lediglich nach dem
äussersten Schwanz der Verteilung.

Nein, auch das mache ich hier ja nicht. Ein Effekt von 1 bei einer Varianz von 1 ist schon ein deutlicher Effekt. Die t-Werte sind _alle_ groß (die p-Werte sind _alle_ sehr klein). Wenn die Power bei 0.9 liegt, heißt das ja, dass unter den wharen H1-Fällen 90% einen p-Wert kleiner 0.05 haben. Da ich in der Simulation _nur_ wahre H1-Fälle untersuche, betrachte ich keinen „Schwanz“ der Verteilung, sondern die fast (eben 90%) der Gesamtzahl der Ergebnisse.

Beste Grüße,
Jochen

[helge_a8d83d]

Hi nochmal,
(…)

Beispiel:

N = 12 je Gruppe
var_N = 1
alpha = 0.05
delta = 1 (Mittelwert-Unterschied, „Effekt“)

-> Power = 0.649

(…)

n = 4 je Gruppe(Pool!)
var_n = 1/4
alpha = 0.05
delta = 1 (Mittelwert-Unterschied, „Effekt“)

-> Power = 0.537

Die Varianz kenn bei Vierteln des Stichprobenumfangs doch nicht um Faktor 4 kleiner werden???
Bei Normalverteilter Grundgesamtheit ist die Stichprobenvarianz doch immer ungefaehr gleich, egal wie gross n ist ?
Oder steh ich immer noch auf’m Schlauch?

Gruss,

[Jo1_a88223]

Die Varianz kenn bei Vierteln des Stichprobenumfangs doch
nicht um Faktor 4 kleiner werden???

Ich viertele ja nicht einfach den Stichprobenumfang, sondern verwende statt der Originalwerte eben Mittelwerte aus je 4 Originalwerten. Die Varianz der Mittelwerte ist dann nut 1/4 der Varianz der Originalwerte.

Im Prinzip ist das genau das hier: Wenn s die Standardabweichung einer Stichprobe vom Umfang n ist, dann ist sem (standard error of the mean) = s*Wurzel(n) die „Standardabweichung der Mittelwerte“. Betrachtet man statt s die Varianz, s², muß man eben quadrieren, also sem² = s²/n.

Anstatt alle N Einzelwerte zu nehmen und daraus einen Mittelwert zu berechnen, poole ich nun zunächst jeweils n Einzelwerte (durch Mittelwertbildung). Dabei bekomme ich eine Reihe Mittelwerte, die weniger stark streuen als die Einzelwerte (eben mit sem statt mit s). Natürlich habe ich nicht N sondern nur N/n Mittelwerte je Gruppe, mit denen ich dann einen t-Test mache.

Jetzt - nochmal anders formuliert - mein Problem:

Durch die geringere Varianz der Mittelwerte gegenüber den Einzelwerten gewinnt man Power, durch den reduzierten Umfang (weniger Freiheitsgrade) verliert man Power. In der Summe verliert man durch Poolen (bei gleicher Anzahl von Einzelwerten) immer an Power. [Im (sinnlosen) Extremfall poolt man alle Werte, macht also nur eine einzige Messung (pro Gruppe). Dann hat man zwar eine minimale Varianz der Messwerte; weil man aber nur einen einzigen Messwert hat, kann man diese Varianz aber nicht mehr schätzen un hat somit Null Power (ein t-Test mit einem Stichprobenumfang von 1 geht gar nicht!)]

Analysiere ich eine große Zahl von Versuchen mit computergenerierten, normalverteilten Werten, finde ich hier eine stärkere Abnahme der Power als nach theoretischer Berechnung der Power. Warum?

LG
Jochen