Hallo,
ich brauch mal eine kleine Hilfe. Wo liegt der Unterschied, wenn ich die Parameter einer Verteilung duch Maximierung der Maximum-Likelihood-Funktion bestimme, bzw. durch Minimierung der Summe der Fehlerquadrate.
Was wendet man wann an?
July
Hallo,
wie ich das verstanden habe liefern beide Verfahren asymptotisch die gleichen Punktschätzer. Wenn die Fehler aber nicht-normalverteilt sind, ist der Kleinste-Quadrate-Schätzer (KQ) aber weniger effizient. Außerdem liefert er dann auch falsche Konfidenzintervalle.
Die KQ-Schätzung ist ein Spezialfall der log-likelihood-Schätzung (lL) für normalverteilte Fehler. Dann lassen sich die Formeln für die lL gerade so vereinfachen, dass die KQ rauskommt.
Ein Beispiel:
Poisson-Verteilte Zufallszahlen mit unbekanntem Parameter lambda, der aus den Daten geschätzt werden soll. Wenn lambda nahe bei Null liegt, sagen wir 0.3, dann ist die Verteilung deutlich asymmetrisch. Das KI, basiert auf der KQ kann so leicht von zB. -0.2 bis +0.8 liegen. Negative Werte für lambda sind aber Unsinn. Die lL hingegen liefert zB. ein KI von 0.1 bis 0.9, also ohne offensichtlich unsinnigen Werte und außerdem auch schmaler.
Was wendet man wann an?
Wenn die Fehler etwa normalverteilt sind, funktioniert die KQ-Schätzung gut. Sind dei Fehler deutlich nicht-normalverteilt, ist die lL-Schätzung effizienter und richtiger. Die lL-Schättzung kann man immer verwenden, sie ist aber mathematisch schwerer zu handhaben (aber wozu gibt’s Rechenknechte?), eine unmittelbare Lösung wie der KQ-Methode gibt es nicht immer und die Suche nach einem Maximum kann manchmal ins Nirvana führen.
VG
Jochen
Hallo Jochen,
vielen Dank fuer die ausfuehrliche Erklaerung. Dann werd ich mir mal die Fehler anschauen. Vermutlich sind sie bei mir nicht normalverteilt 
Viele Gruesse,
July