Statistik-Frage

[Jo1_a88223]

Hallo www’ler,

ich habe ein Screening von einigen zig-Tausend „Proben“. Zu jeder „Probe“ gibt es eine kleine Stichprobe von Messungen. Nun soll herausgefunden werden, bei welchen „Proben“ der Mittelwert von Null verschieden ist. Das wird mit zig-Tausend t-Tests gemacht. Um dem Multiziplitäts-Problem zu begegnen, werden die p-Werte korrigiert, um die false-discovery-rate (FDR) zu kontrollieren.

Soweit, sogut. Jetzt die Frage :

Wenn mich sowieso nur Mittelwerte (m) interessieren, die größer sind als ein gegebener Wert „x“ (also |m|>x mit x>0), kann man dann ZUERST NUR die „Proben“ mit |m|>x auswählen, und NUR von denen die Tests und Adjustierung der p-Werte machen? Ist die FDR dann noch unter Kontrolle? Oder verbiegt mir die Vor-Auswahl das Ergebnis? In anderen Worten: Erhöhe ich mit der Vorauswahl die Power oder lüge ich mir in die Tasche?

Hintergrund:

Die allermeisten Mittelwerte sind sehr nahe Null. Es gibt einige Mittelwerte, die stark von Null abweichen und auch hoch signifikant sind (einfach!). Es gibt aber auch viele Mittelwerte, die weichen stark von der Null ab, haben aber „relativ“ schlechte p-Werte, so dass sie bei der Adjustierung für alle zig-Tausend p-Werte eben „nicht-signifikant“ werden. Werden unter den zig-tausend aber nur die „Proben“ getestet, deren Mittelwerte schonmal um mind. x von Null abweichen, dann werden viele dieser p-Werte durch die Adjustierung nicht mehr sooo stark „verschlechtert“, und sie bleiben „signifikant“.

Danke schonmal für Tipps & LG
Jochen

[Paul_6a77cf]

owt
Also da war die Statistikfrage unter deinem Artikel wesentlich einfacher. Da ich nicht weiß, was unter anderem die p-Werte sind, kann ich dir leider nicht helfen.
Aber ich bin davon überzeugt, dass es andere können

[JPL]

Hi Jochen,

Soweit, sogut. Jetzt die Frage :
Wenn mich sowieso nur Mittelwerte (m) interessieren, die
größer sind als ein gegebener Wert „x“ (also |m|>x mit
x>0), kann man dann ZUERST NUR die „Proben“ mit |m|>x
auswählen, und NUR von denen die Tests und Adjustierung der
p-Werte machen? Ist die FDR dann noch unter Kontrolle?

Ich denke schon. Die q-Werte, die dabei berechnet werden, hängen nur von der Anzahl der Proben ab - wenn du nun weniger Proben hast, bekommst du auch weniger sig. Ergebnisse, wobei FDR nach wie vor dieselbe ist.

Oder verbiegt mir die Vor-Auswahl das Ergebnis? In anderen Worten
Erhöhe ich mit der Vorauswahl die Power oder lüge ich mir in
die Tasche?

Dadurch, dass du bestimmte Proben nicht berücksichtigst, kannst du über die schon mal nichts mehr aussagen, gleichwohl bleibt deine FDR gleich. Du hast also nur andere Proben signifikant, aber immer noch genausoviele falsche dabei wie vorher.
On du ein gain power hast oder nicht, ist schwer zu sagen und hängt davon ab, wie viele true H0 du rauswirfst.

Probleme die bei dem von dir beschriebenen Vorgehen auftreten sind:

1. Wenn du dein x nicht vorher definierst, siehts sehr arg nach Schönrechnerei aus.
2. Über die Proben, die du nicht analysierst, kannst du keine Aussage mehr machen => Geld & Zeit für nichts vergeudet!
3. Eigentlich wäre es sinnvoll, die FDR anzupassen, da in deinem vorgehen eher true H0 weggelassen werden, als true H1. Dann ist aber FDR konditional auf x und damit die FDR mit der Anzahl der weggefallenen Proben korreliert - sehr unschöne Sache. Wenn du es aber nicht machst, berücksichtigst du den Selektionsvorgang nicht adäquat.
4. Extremfall: Mit deiner Selektion schneidest du ALLE true H0 raus. Folglich müsstest du FDR=0 annehmen, weil es keine true H0 mehr gibt. Die Konsequenzen wäre allerdings ein wenig grenzwertig…

Die allermeisten Mittelwerte sind sehr nahe Null. Es gibt
einige Mittelwerte, die stark von Null abweichen und auch hoch
signifikant sind (einfach!). Es gibt aber auch viele
Mittelwerte, die weichen stark von der Null ab, haben aber
„relativ“ schlechte p-Werte, so dass sie bei der Adjustierung
für alle zig-Tausend p-Werte eben „nicht-signifikant“ werden.
Werden unter den zig-tausend aber nur die „Proben“ getestet,
deren Mittelwerte schonmal um mind. x von Null abweichen, dann
werden viele dieser p-Werte durch die Adjustierung nicht mehr
sooo stark „verschlechtert“, und sie bleiben „signifikant“.

Das wundert nicht. je weniger die probe streut und je weiter der Mittelwert von 0 verschieden ist, umso kleiner der p-Wert. durch deine Selektion schneidest du aus einer nach Größe geordneten p-Wert-Folge bestimmte Elemente heraus, wodurch die p-Werte in ihrer Ordnung ‚nach vorne‘ rutschen. Bei der Adjustuerng haben sie es dann leichter kleienr dem gegebenen krit. Wert zu sein und korrespondieren dann mit einer sig. Hypothese.

Zum schnellen lesen:
http://www.math.tau.ac.il/~ybenja/Software/fdrame.pdf

Gruß,
JPL