Dlaczego regresja wielomianowa jest uważana za szczególny przypadek wielokrotnej regresji liniowej?

Jeśli regresja wielomianowa modeluje relacje nieliniowe, to jak można to uznać za szczególny przypadek wielokrotnej regresji liniowej?

Wikipedia zauważa, że ​​„Chociaż regresja wielomianowa pasuje do danych do modelu nieliniowego, jako problem estymacji statystycznej jest ona liniowa, w tym sensie, że funkcja regresji jest liniowa dla nieznanych parametrów, które są szacowane z danych ”.$\mathbb{E}(y | x)$

W jaki sposób regresja wielomianowa jest liniowa dla nieznanych parametrów, jeśli parametry są współczynnikami dla terminów z porządkiem 2?$\ge$

Po dopasowaniu modelu regresji, takiego jak , model i estymator OLS nie „wiedzą”, że jest po prostu kwadratem , po prostu „myśli”, że to inna zmienna. Oczywiście istnieje pewna kolinearność, która włącza się w dopasowanie (np. Standardowe błędy są większe, niż mogłyby być), ale wiele par zmiennych może być nieco kolinearnych, przy czym jedna z nich nie jest funkcją drugiej. $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$$x^2_i$$x_i$

Nie uznajemy, że istnieją naprawdę dwa oddzielne zmienne w modelu, bo my wiemy, że jest ostatecznie taka sama zmienna jak że przekształcone i zawarte w celu uchwycenia krzywoliniowy związek między i . Ta wiedza o prawdziwej naturze w połączeniu z naszym przekonaniem o istnieniu krzywoliniowej zależności między i jest tym, co utrudnia nam zrozumienie, że jest ona nadal liniowa z perspektywy modelu. Ponadto wizualizujemy i$x^2_i$$x_i$$x_i$$y_i$$x^2_i$$x_i$$y_i$$x_i$$x^2_i$razem, patrząc na marginalną projekcję funkcji 3D na płaszczyznę 2D . $x, y$

Jeśli masz tylko i , możesz spróbować wizualizować je w pełnej przestrzeni 3D (chociaż nadal trudno jest naprawdę zobaczyć, co się dzieje). Jeśli spojrzysz na dopasowaną funkcję w pełnej przestrzeni 3D, zobaczysz, że dopasowana funkcja jest płaszczyzną 2D, a ponadto jest płaską płaszczyzną. Jak mówię, trudno jest dobrze widzieć, ponieważ dane istnieją tylko wzdłuż zakrzywionej linii przechodzącej przez tę przestrzeń 3D (fakt ten jest wizualną manifestacją ich kolinearności). Możemy spróbować to zrobić tutaj. Wyobraź sobie, że to dopasowany model: $x_i$$x^2_i$$x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

Łatwiej jest zobaczyć te obrazy, które są zrzutami ekranu obróconej figury 3D wykonanej z tych samych danych przy użyciu rglpakietu.

Kiedy mówimy, że model „liniowy w parametrach” jest naprawdę liniowy, to nie jest to tylko matematyka. Za pomocą zmiennych dopasowuje się wymiarową hiperpłaszczyznę w hiperprzestrzeni wymiarowej (w naszym przykładzie płaszczyzna 2D w przestrzeni 3D). Ta hiperpłaszczyzna naprawdę jest „płaska” / „liniowa”; to nie jest tylko metafora. $p$$p$$p\!+\!1$

Zatem ogólny model liniowy jest funkcją liniową dla nieznanych parametrów . Regresja wielomianowa, na przykład jest kwadratowa w funkcji ale liniowa we współczynnikach , i . Mówiąc bardziej ogólnie, ogólny model liniowy można wyrazić jako , gdzie są dowolnymi funkcjami wektorowych danych wejściowych - zobacz, że może zawierać dowolne warunki interakcji (między składniki ) i tym podobne.$y = a + bx + cx^2$$x$$a$$b$$c$$y = \sum_{i=0}^N a_i h_i(x)$$h_i$$x$$h_i$$x$

Rozważ model

Można to przepisać