Kształt przedziałów ufności i predykcji dla regresji nieliniowej

Czy pasma ufności i prognozy wokół regresji nieliniowej powinny być symetryczne wokół linii regresji? Oznacza to, że nie przyjmują kształtu klepsydry, jak w przypadku pasm regresji liniowej. Dlaczego?

Oto model: Oto rysunek:

a oto równanie:

Należy oczekiwać, że przedziały ufności i predykcji będą się zwykle powiększać w pobliżu końca - z tego samego powodu, dla którego zawsze robią to w zwykłej regresji; ogólnie niepewność parametru prowadzi do szerszych przedziałów w pobliżu końców niż w środku

Można to łatwo dostrzec przez symulację, albo przez symulację danych z danego modelu, albo przez symulację z rozkładu próbkowania wektora parametru.

Zwykłe (w przybliżeniu poprawne) obliczenia wykonywane dla regresji nieliniowej obejmują przyjęcie lokalnego przybliżenia liniowego (jest to podane w odpowiedzi Harveya), ale nawet bez nich możemy uzyskać pewne pojęcie o tym, co się dzieje.

Jednak wykonywanie rzeczywistych obliczeń nie jest łatwe i może się zdarzyć, że programy mogą skorzystać ze skrótu obliczeniowego, który ignoruje ten efekt. Możliwe jest również, że w przypadku niektórych danych i niektórych modeli efekt jest stosunkowo niewielki i trudny do zauważenia. Rzeczywiście, przy przedziałach predykcji, szczególnie przy dużej wariancji, ale z dużą ilością danych, czasami może być trudno dostrzec krzywą w zwykłej regresji liniowej - mogą wyglądać prawie prosto i stosunkowo łatwo jest odróżnić odchylenie od prostości.

Oto przykład tego, jak trudno jest zobaczyć tylko przedział ufności dla średniej (przedziały prognozowania mogą być znacznie trudniejsze do zobaczenia, ponieważ ich względna zmienność jest o wiele mniejsza). Oto niektóre dane i nieliniowe dopasowanie do najmniejszych kwadratów, z przedziałem ufności dla średniej populacji (w tym przypadku generowanym z rozkładu próbkowania, ponieważ znam prawdziwy model, ale coś bardzo podobnego można zrobić poprzez asymptotyczne przybliżenie lub ładowanie początkowe):

Fioletowe granice wyglądają prawie równolegle do niebieskich prognoz ... ale nie są. Oto błąd standardowy rozkładu próbkowania tych średnich prognoz:

co oczywiście nie jest stałe.

Edytować:

Wyrażenia „sp”, które właśnie opublikowałeś, pochodzą prosto z przedziału predykcji dla regresji liniowej !

Matematyka obliczania ufności i pasm prognoz krzywych dopasowanych przez regresję nieliniową wyjaśniono na tej stronie zweryfikowanej krzyżowo. Pokazuje, że pasma nie zawsze są / zwykle symetryczne.

A oto wyjaśnienie zawierające więcej słów i mniej matematyki:

Najpierw zdefiniujmy G | x, który jest gradientem parametrów przy określonej wartości X i przy użyciu wszystkich najlepiej dopasowanych wartości parametrów. Wynikiem jest wektor z jednym elementem na parametr. Dla każdego parametru jest on definiowany jako dY / dP, gdzie Y jest wartością Y krzywej przy danej wartości X i wszystkich wartościach parametru najlepiej dopasowanego, a P jest jednym z parametrów.)

G '| x to transponowany wektor gradientowy, więc jest to raczej kolumna niż rząd wartości. Cov jest macierzą kowariancji (odwrócony Hesjan z ostatniej iteracji). Jest to macierz kwadratowa z liczbą wierszy i kolumn równą liczbie parametrów. Każdy element w macierzy jest kowariancją między dwoma parametrami. Używamy Cov w odniesieniu do znormalizowanej macierzy kowariancji , gdzie każda wartość mieści się w zakresie od -1 do 1.

Teraz oblicz

c = G '| x * Cov * G | x.

Wynik jest pojedynczą liczbą dla dowolnej wartości X.

Pasma ufności i prognozy są wyśrodkowane na krzywej najlepszego dopasowania i rozciągają się powyżej i poniżej krzywej w równej wysokości.

Przedziały ufności rozciągają się powyżej i poniżej krzywej o:

= sqrt (c) * sqrt (SS / DF) * CriticalT (% zaufania, DF)

Pasma prognozy rozciągają się na dalszą odległość powyżej i poniżej krzywej, równą:

= sqrt (c + 1) * sqrt (SS / DF) * CriticalT (% zaufania, DF)

W obu tych równaniach wartość c (zdefiniowana powyżej) zależy od wartości X, więc pasma ufności i prognozy nie są stałej odległości od krzywej. Wartość SS jest sumą kwadratów dopasowania, a DF jest liczbą stopni swobody (liczba punktów danych minus liczba parametrów). CriticalT jest stałą z rozkładu t opartą na pożądanym poziomie ufności (tradycyjnie 95%) i liczbie stopni swobody. Dla limitów 95% i dość dużego df wartość ta jest bliska 1,96. Jeśli DF jest mały, wartość ta jest wyższa.