Signifikanz

Hallo - mal wieder (vermutlich) eine dumme Frage in die ach so unverständliche Statistik :wink:
Ich habe in meiner Doktorarbeit mehrere Zellen auf das Vorkommen zweier Gene getestet und mit einer Referenz-Zellinie verglichen. Die Standardabweichung hat schon die schlaue Software berechnet, aber jetzt habe ich Ergebnisse (die sind fast alle gleich, so dass man sagen kann, dass die Zellen nicht wirklich mehr von dem Genprodukt herstellen) und ich kann ohne Signifikanzberechnung vermutlich nicht sagen, ob die jetzt wahrscheinlich oder sicher nicht mehr herstellen.
*hoffe ich hab mich einigermaßen verständlich ausgedrückt*
Wie mache ich das denn jetzt genau? Hab zwar im Internet gestöbert, und da steht halt was von verschiedenen Tests, aber ich weiss jetzt immer noch nicht welchen Test ich nehmen soll und ob ich da auch so p-Werte brauche.
Dürfte ja für erfahrene Mathematiker ein Kinderspiel sein oder?
Dankeschön

Auch hallo.

Ich habe in meiner Doktorarbeit(*) mehrere Zellen auf das

(*) Alter lt. Vika 23-24. Und dann schon an der Doktorarbeit ?

Vorkommen zweier Gene getestet und mit einer Referenz-Zellinie
verglichen. Die Standardabweichung hat schon die schlaue
Software berechnet, aber jetzt habe ich Ergebnisse (die sind
fast alle gleich, so dass man sagen kann, dass die Zellen
nicht wirklich mehr von dem Genprodukt herstellen) und ich
kann ohne Signifikanzberechnung vermutlich nicht sagen, ob die
jetzt wahrscheinlich oder sicher nicht mehr herstellen.
*hoffe ich hab mich einigermaßen verständlich ausgedrückt*

Ähm…nein. Aber das klingt danach, dass jemand zwei genetische Folgen miteinander verglichen hat und entscheiden soll ob eine davon künstlich hergestellt wurde.
Für solche Fälle gibt es mal wieder das Entscheidungsbäumchen: http://www.psycho.uni-osnabrueck.de/ggediga/www/pm98/
http://www.students.uni-marburg.de/~Cal/Zeug/Entsche…
Welche Stichworte infrage kämen: Varianzanalyse, diskret, 2 Stichproben, qualitativ, unabhängig,…

HTH
mfg M.L.

Hallo,

Zunächst mußt Du vier Fragen beantworten:

  1. Wie sind die Messwerte verteilt? Ggf. auch noch Varianzhomogenität prüfen.

  2. Wie groß muß ein Unterschied in der Expression sein, um biologisch relevant zu sein?

  3. Wie sicher willst du sein, einen mindestens so groß wie in 2) angegebenen Unterschied mit einem statistisch signifikanten Ergebnis nachzuweisen?

  4. Wie sicher willst du sein, dass ein statistisch-signifikantes Ergebnis nicht falsch-positiv ist?

Aus 1) erkennst Du, welchen Test du verwenden darfst (sind die Daten annähernd normalverteilt, so kommen parametrische Testst in Frage, ansonsten eher parameterfreie Verfahren. Die parameterfreien Verfahren sind nie falsch, allerdings haben sie eine geringere Power als parametrische.

Aus 1), 2) und 3) Dann kannst du dann ausrechnen, wie groß der Stichprobenumfang sein muß. Ist der >30, dann kannst du auf jeden Fall parametrische Tests verwenden (Stichwort: „Zentraler Grenzwertsatz“).

Dann machst du deine Experimente.

Da du mehrere Zell(typ?)en gegen eine Referenz vergleichen willst, hast du bei sequentiellen Einzeltests ein „Multiples Testproblem“ (der Gruppenfehler wird schnell zu groß!). Das kann man über eine Adjustierung der p-Werte in den Griff bekommen. Man kann auch erst einn „Omnibustest“ machen (eine ANOVA zB.), und wenn die signifikant ist, kann man mit post-hoc-Tests prüfen (hier böte sich wahrscheinlich Dunett’s Test an), welche dann die tatsächlich signifikanten Gruppen identifizieren.

Statistisch signifikant heißt hier, dass der empirische p-Wert kleiner ist als das Komplement von 4) (Wenn du also sagst, du willst eine 99%ige Sicherheit haben, dass ein signif. Erg. nicht zufällig falsch-positiv ist, dann heißt das: die falsch-Positiven-Wahrscheinlichkeit soll unter 1% liegen; Wenn p

Auch hallo.

Ich habe in meiner Doktorarbeit(*) mehrere Zellen auf das

(*) Alter lt. Vika 23-24. Und dann schon an der Doktorarbeit ?

Uiuiui - wusste gar nicht, dass meine persönlichen Daten so auf Interesse stoßen - aber ja… 23 und schon an der Doktorarbeit…
Bei den Medizinern ist das üblich :wink:

Vorkommen zweier Gene getestet und mit einer Referenz-Zellinie
verglichen. Die Standardabweichung hat schon die schlaue
Software berechnet, aber jetzt habe ich Ergebnisse (die sind
fast alle gleich, so dass man sagen kann, dass die Zellen
nicht wirklich mehr von dem Genprodukt herstellen) und ich
kann ohne Signifikanzberechnung vermutlich nicht sagen, ob die
jetzt wahrscheinlich oder sicher nicht mehr herstellen.
*hoffe ich hab mich einigermaßen verständlich ausgedrückt*

Ähm…nein. Aber das klingt danach, dass jemand zwei
genetische Folgen miteinander verglichen hat und entscheiden
soll ob eine davon künstlich hergestellt wurde.

Nee - das ist es nicht ganz… die Zellen (alles verschiedene Tumorzellen) werden kaputtgemacht und es wird quantitativ ermittelt, wieviel von 2 Genprodukten in den Zellen war um danach eben eine Aussage zu machen über das Verhalten der Zellen im Vergleich zu einer normalen Nichttumorzelle. Da ist nichts künstliches im Spiel und diese Genprodukte hat im Prinzip jede Zelle - nur halt mehr oder weniger. Und die Frage lautet, ob es in Tumorzellen eben mehr (wie eigentlich erwartet) oder weniger ist. Allerdings kam halt jetzt heraus, dass eben doch nicht wirklich mehr hergestellt wird, also dass die Zellen das Gen nicht einfach anschalten und mehr von dem Produkt herstellen. Im Prinzip ist ja die genetische Information immer vorhanden - übrigens auch in dir :wink: aber die Frage ist, ob die Zellen die Gene auch benutzen oder eben abschalten…

Für solche Fälle gibt es mal wieder das Entscheidungsbäumchen:
http://www.psycho.uni-osnabrueck.de/ggediga/www/pm98/
http://www.students.uni-marburg.de/~Cal/Zeug/Entsche…
Welche Stichworte infrage kämen: Varianzanalyse, diskret, 2
Stichproben, qualitativ, unabhängig,…

Hui - das Bäumchen ist ganz toll - allerdings bin ich mit den ganzen Fachbegriffen ein wenig überfordert… *lach* Mediziner können halt kein richtiges Mathe - aber in Statistik war ich immer schon ne Null

Danke aber auf jeden Fall für deine Antwort - mal sehen wie weit mich das Bäumchen bringt

Zunächst mußt Du vier Fragen beantworten:

  1. Wie sind die Messwerte verteilt? Ggf. auch noch
    Varianzhomogenität prüfen.

Also es ist schon mal keine Normalverteilung, da es sich nicht um Zufallsgrößen handelt. Ich wage mich mal weit aus dem Fenster (und benutze Fachbegriffe *lach*) und behaupte, dass es sich um eine relative Häufigkeitsverteilung aus der deskriptiven Statistik handelt. Möglicherweise hab ich auch grad großen Quatsch erzählt - also nicht erschlagen bitte…
Wie bereits erklärt habe ich erwartet, dass die Testzellen relativ zu einer normalen Zelle eben mehr oder weniger desselben Produkts produzieren, jedoch kann dies zwischen 0 und 1000% oder höher sein… allerdings ist das nicht dem Zufall überlassen, sondern hängt von bisher größtenteils unabhängigen Faktoren ab (diese kann ich dann im Diskussionsteil meiner Doktorarbeit anführen)

  1. Wie groß muß ein Unterschied in der Expression sein, um
    biologisch relevant zu sein?

Hmm sagen wirs mal so - der Unterschied kann marginal sein. In diesem Falle hätte es (wenn die Zellen wirklich stärker positiv gewesen wären) es ein Durchbruch in der Krebsforschung sein können, da auch bei einer deutlich höheren Expression neue Therapieansätze existieren. Da die Expression dieser Gene aber in jeder Zelle stattfindet, müsste es ein wirklich deutlicher Unterschied sein, da die Therapie sich so nicht nur gegen die Tumoren, sondern auch gegen die gesunden Zellen im Körper richten würde. Meine Zellen zeigen im Maximum eine bis zu 4fach höhere Expressionsrate als die Vergleichszellen… und ich persönlich würde das als noch nicht biologisch relevanten Unterschied sehen, da einfach unglaublich viele andere Faktoren einfließen könnten und wenn man diese abzieht, dann bleibt letztlich keine große Erhöhung mehr übrig. Es handelt sich in meinem Beispiel schließlich auch um Tumorzellen im Vergleich zu Normalzellen… (Tumorzellen sind genetisch instabiler und produzieren hin und wieder auch mal großen genetischen Blödsinn :wink: ohne Sinn und Zweck und ohne eine Regel zu befolgen)
In regulären seriösen Arbeiten wird allerdings meistens alpha=0,01 gesetzt (das ist es doch woraufs hinausläuft oder?)

  1. Wie sicher willst du sein, einen mindestens so groß wie in
  2. angegebenen Unterschied mit einem statistisch signifikanten
    Ergebnis nachzuweisen?

so sicher wie möglich… weiss nich was so normal ist in doktorarbeiten…

  1. Wie sicher willst du sein, dass ein
    statistisch-signifikantes Ergebnis nicht falsch-positiv ist?

das ist der fehler 2. ordnung oder? weiss auch nicht wo hier die normwerte liegen… es ist halt alles noch forschungsgegenstand und ich kann mich eigentlich an nichts orientieren

Aus 1) erkennst Du, welchen Test du verwenden darfst (sind die
Daten annähernd normalverteilt, so kommen parametrische Testst
in Frage, ansonsten eher parameterfreie Verfahren. Die
parameterfreien Verfahren sind nie falsch, allerdings haben
sie eine geringere Power als parametrische.

Aus 1), 2) und 3) Dann kannst du dann ausrechnen, wie groß der
Stichprobenumfang sein muß. Ist der >30, dann kannst du auf
jeden Fall parametrische Tests verwenden (Stichwort:
„Zentraler Grenzwertsatz“).

nein der Stichprobenumfang ist viel kleiner. es handelt sich ja nur um 8 stichproben aller tumorzellen bzw. 5 davon sind gleicher herkunft aber entnommen aus verschiedenen geweben
das heisst im klartext 5 der zellen sind gleicher typus auch gleicher geweblicher herkunft, aber eben aus verschiedenen geweben entnommen; 2 weiter sind ebenfalls derselben geweblichen herkunft, aber anders entartet und eine letzte zellreihe ist ein ganz anderer typ

Dann machst du deine Experimente.

Da du mehrere Zell(typ?)en gegen eine Referenz vergleichen
willst, hast du bei sequentiellen Einzeltests ein „Multiples
Testproblem“ (der Gruppenfehler wird schnell zu groß!). Das
kann man über eine Adjustierung der p-Werte in den Griff
bekommen. Man kann auch erst einn „Omnibustest“ machen (eine
ANOVA zB.), und wenn die signifikant ist, kann man mit
post-hoc-Tests prüfen (hier böte sich wahrscheinlich Dunett’s
Test an), welche dann die tatsächlich signifikanten Gruppen
identifizieren.

Statistisch signifikant heißt hier, dass der empirische p-Wert
kleiner ist als das Komplement von 4) (Wenn du also sagst, du
willst eine 99%ige Sicherheit haben, dass ein signif. Erg.
nicht zufällig falsch-positiv ist, dann heißt das: die
falsch-Positiven-Wahrscheinlichkeit soll unter 1% liegen; Wenn
p

Moin,

Also es ist schon mal keine Normalverteilung, da es sich nicht
um Zufallsgrößen handelt.

Ich denke, Du hast das Konzept von „Verteilung“ nicht richtig verstanden. Das hat eigentlich erstmal nichts mit Zufall zu tun. „Zufall“ beschreibt überhaupt nur unser fehlendes Wissen um die deterministischen Zusammenhänge. Will heißen: Wenn wir aus irgendeinem Grund nicht in der Lage sind, einen Meßwert (eine Beobachtung) exakt aus der Theorie zu berechnen (Beobachtung und theoretischer Wert stimmen nicht exakt überein), nennen wir die Abweichungen „zufällig“. Wenn es etwas gibt, was die Abweichungen doch erklärt, so haben wir entweder einen systematischen Fehler gemacht oder die Theorie muß verbessert werden.

„Zufällig“ sind also alle unvorhersehbaren und nicht-berechnenbaren Abweichungen von einem „Sollwert“. So ist in der Medizin ja der Regelfall, dass man Meßwerte auf eine Population bezieht. Jede Untersuchungseinheit (sei es eine Zelle, eine Zellkultur, ein Organ, ein Individuum oder sonstwas) weist eine „biologische Variabilität“ auf. Wenn man wissen will, ob zB. Raucher schlechtere Blutfettwerte haben als Nichtraucher, bringt es wenig, die Blutfettwerte von einem Raucher mit denen eines Nichtrauchers zu vergleichen (ist hoffentlich kalr, warum). Was eigentlich interessiert, ist vielmehr der mittlere Unterschied der Werte von sehr vielen Rauchern und sehr vielen Nichtrauchern.

Doch nicht alleine die biologische Variabilität trägt zu zufälligen Abweichungen bei. Auch Meßfehler spielen hier eine Rolle. Wenn du zweimal die Blutfettwerte ein-und-derselben Person mit, bekommst du schon zwei etwas unterschiedliche Ergebnisse.

„Sollwert“ ist hier also kein real existierender wahrer Wert, sondern der Mittelwert der Population. Diesen Wert kannst du idR nicht kennen (weil du nicht die gesamte Population - zB. alle Raucher, die es jemals gab, gibt und geben wird! - messen _kannst_). Jeder Stichprobe, die du nimmst, ergibt etrwas andere Werte.

Das blöde am Zufall ist also, dass er Einzelergebnisse unbrauchbar macht.

Das schöne am Zufall aber ist, dass er gesetzmäßige Zusammenhänge nicht stört. Man kann diese Zusammenhänge umso besser erkennen, je mehr Beobachtungen man macht. So bekommt man (bei biologischen Daten) häufiger Werte, die nahe beim Mittelwert liegen, also solche, die weit vom Mittelwert wegliegen und es passiert nur sehr selten, dass ein Wert mal „total daneben liegt“.

Das wunderbare am Zufall ist, dass man aus seinem Wirken selbst auf gesetzmäßige Zusammenhänge schließen kann!

Beispiel: Genetik. Die mütterlichen und väterlichen Gene werden bei der Meiose idR. zufällig gemischt. Durch Abweichungen vom „Zufall“ findet man Kopplungsgruppen von Genen, aber auch Gene, die nicht „mendeln“.

Ich wage mich mal weit aus dem
Fenster (und benutze Fachbegriffe *lach*) und behaupte, dass
es sich um eine relative Häufigkeitsverteilung aus der
deskriptiven Statistik handelt.

Statistik kann man - wenn man will - unterteilen in deskriptive (bescheibende) und induktive (schließende) Statistik. Wenn ich _beschreibe_, welche Verteilung meine Daten haben, dann ist das deskriptiv. Das hat nichts damit zu tun, welche Verteilung das jetzt konkret ist. Wenn ich die Verteilung nutze, um aussagen darüber zu machen, wie wahrscheinlich ein beobachtetes Ergebnis „rein zufällig“ auftreten kann, dann ist das induktiv.

Möglicherweise hab ich auch
grad großen Quatsch erzählt - also nicht erschlagen bitte…

…ja - nein :wink:

Wie bereits erklärt habe ich erwartet, dass die Testzellen
relativ zu einer normalen Zelle eben mehr oder weniger
desselben Produkts produzieren, jedoch kann dies zwischen 0
und 1000% oder höher sein… allerdings ist das nicht dem
Zufall überlassen, sondern hängt von bisher größtenteils
unabhängigen Faktoren ab (diese kann ich dann im
Diskussionsteil meiner Doktorarbeit anführen)

Es gibt einen erwarteten bzw. erhofften Effekt der Faktoren auf die Produktmenge. Die Größe dieses Effekts ist nicht bekannt. Ganz unabhängig davon gibt es aber auch „zufällige“ Effekte auf die gemessene Produktmengen (biologische Varianz, Meßfehler etc).

Würdest du einen Wert A, gemessen an einer Testzell-Kultur mit einem Wert B, gemessen an einer Kontrollzell-Kultur vergleichen, und finden, dass A > B (sagen wir A=34 und B=71), und würdest du dann sagen: „seht her: meine Testzellen produzieren mehr von dem Zeug als die Kontrollen!“ dann würdest du zu hören bekommen: „ok, bei dir war A>B, aber das war nur Zufall. Wenn du nochmal mißt, kommt bestimmt was anderes raus, womöglich sogar B>A!“. - Dir glaubt also keiner den Schluß, dass Testzellen systematisch mehr Produkt herstellen als die Kontrollzellen. Damit kannst Du nix anfangen.

Die Lösung ist, sehr viele Wiederholungen des Experiments zu machen. Mittels statistischer Verfahren ist es dann nämlich möglich, folgendes zu sagen: „Wenn es KEINEN EFFEKT gäbe, dann würde ich einen MITTLEREN UNTERSCHIED von der beobachteten Größe oder mehr nur mit einer sehr geringen Wahrscheinlichkeit finden.“ Diese Wahrscheinlichkeit wird auch (nicht ganz korrekter Weise) als Irrtumswahrscheinlichkeit bezeichnet (besser: Typ-I-Fehlerrate). Wenn diese Irrtumswahrscheinlichkeit sehr klein ist, dann glauben dir auch die Kritiker.

  1. Wie groß muß ein Unterschied in der Expression sein, um
    biologisch relevant zu sein?

Hmm sagen wirs mal so - der Unterschied kann marginal sein.

[…]

Meine Zellen zeigen im Maximum eine bis
zu 4fach höhere Expressionsrate als die Vergleichszellen…

Das ist schon ganz ordentlich - und alles andere als „marginal“!

und ich persönlich würde das als noch nicht biologisch
relevanten Unterschied sehen, da einfach unglaublich viele
andere Faktoren einfließen könnten und wenn man diese abzieht,
dann bleibt letztlich keine große Erhöhung mehr übrig.

???

In regulären seriösen Arbeiten wird allerdings meistens
alpha=0,01 gesetzt (das ist es doch woraufs hinausläuft oder?)

Nein. Dieses Alpha ist die oben beschriebene „Irrtumswahrscheinlichkeit“ bzw. der akzeptierte Typ-I-Fehler. Ein statistisch signifikantes Ergebnis würde so bedeuten, dass ein ebenso extremes oder noch extremeres Ergebnis rein zufällig (also OHNE den hypothetisierten Effekt) nur in 1% solcher Studien gefunden würde. Wenn der Gegenstand der Studie ein Mosaikteil unter vielen ist, der versucht, einen Kenntnisstand zu erweitern, dann ist das absolut ok. Wenn es eine Studie ist, die eine Behandlung nahelegt, welche über Leben und Tod entscheidet, dann ist das Russisch-Roulette mit einer Kugel in einem Magazin mit 100 Schuß.

  1. Wie sicher willst du sein, einen mindestens so groß wie in
  2. angegebenen Unterschied mit einem statistisch signifikanten
    Ergebnis nachzuweisen?

so sicher wie möglich… weiss nich was so normal ist in
doktorarbeiten…

Es gibt kein „was so normal ist“. Meist hängt es vom Aufwand ab, den man betreiben kann, will und muß.

  1. Wie sicher willst du sein, dass ein
    statistisch-signifikantes Ergebnis nicht falsch-positiv ist?

das ist der fehler 2. ordnung oder? weiss auch nicht wo hier
die normwerte liegen… es ist halt alles noch
forschungsgegenstand und ich kann mich eigentlich an nichts
orientieren

Nicht ganz. Diesen Fehler nennt man Typ-I Fehler, Fehler erster Art, Irrtumswahrscheinlichkeit oder Falsch-Positiven-Rate (siehe oben!).

Aus 1), 2) und 3) Dann kannst du dann ausrechnen, wie groß der
Stichprobenumfang sein muß. Ist der >30, dann kannst du auf
jeden Fall parametrische Tests verwenden (Stichwort:
„Zentraler Grenzwertsatz“).

nein der Stichprobenumfang ist viel kleiner. es handelt sich
ja nur um 8 stichproben aller tumorzellen bzw. 5 davon sind
gleicher herkunft aber entnommen aus verschiedenen geweben
das heisst im klartext 5 der zellen sind gleicher typus auch
gleicher geweblicher herkunft, aber eben aus verschiedenen
geweben entnommen; 2 weiter sind ebenfalls derselben
geweblichen herkunft, aber anders entartet und eine letzte
zellreihe ist ein ganz anderer typ

Sicher hat der Tumor-Typ (also die Herkunft) einen ganz entscheidenden Einfluß auf die Expression. Die Schwere der Entartung sicher auch. Bei der Lokalisation der Metastase (sind es doch, oder?) wäre ich vorsichtiger. Es kann einen Einfluß haben, muß aber nicht (Tumoren richten sach ja geraden NICHT nach den umliegenden Zellen).

Deine Stichprobe ist also sehr heterogen! Es könnte also sein, dass in Expression in Myelomen deutlich gesteigert ist, nicht aber in Karzinomen, und bei Gliomen nur dann, wenn der Tumor vaskularisiert ist… alles in allem kannst du das nicht finden, wenn du dir nur soooo wenige Fälle anschaust! ALLERDINGS: WENN du bei einer derart heterogenen Stichprobe einen Unterschied findest, DANN ist der ENTWEDER bei einigen Typen/Bedingungen extrem stark ODER aber generell vorhanden.

Langsam glaube ich nämlich, dass ich einfach nur
sagen kann: könnte hier und da erhöht sein - für die
Untersuchung dieses Aspekts muss da weitergeforscht werden, da
ich halt forschungstechnisch mal einfach ins Blaue geschossen
habe…

Das ist die trauige Wahrheit sehr vieler Medizin-Doktorarbeiten. Die Betreuer haben selbst keine Ahnung und stürzen arme Doktoranden in fruchtlose Arbeiten. IMHO macht sich ein Betreuer moralisch strafbar, wenn vor Beginn der Arbeit EINDEUTIG NACHWEISBAR ist, dass die Arbeit kein brauchbares Ergebnis liefern KANN (wobei „brauchbar“ ein dehnbarer Begriff ist). Es sollte also vor der Arbeit formuliert sein, welche Aussage(n) man durch die Arbeit treffen können muß. In Deinem Falle hätte der Betreuer schon Grenzen für den Typ-I und Typ-II-Fehler festlegen müssen und dementsprechend die nötige Fallzahl ausrechnen müssen. Ohne das könntest du die ganze Untersuchung nur als „Pilotstudie“ abtun und dich auf Schätzungen für die erwarteten Varianzen beschränken. Eine Aussage über Expressions-Unterschiede zwischen Tumor- und Normalzellen wäre nicht Gegenstand deiner Arbeit.

Realistischer Weise wird es bei dir so sein wie bei so vielen anderen Medizinern auch: „ich habe mal was gemessen, aber man erkennt nix. Weitere Studien müssen…“

LG
Jochen