Co oznacza liniowa regresja liniowa?

W R, jeśli napiszę

lm(a ~ b + c + b*c) 

czy nadal byłaby to regresja liniowa?

Jak zrobić inne rodzaje regresji w R? Byłbym wdzięczny za jakieś zalecenia dotyczące podręczników lub samouczków?

Liniowy odnosi się do związku między parametrami, które szacujesz (np. ), a wynikiem (np. ). Zatem jest liniowy, ale nie jest. Model liniowy oznacza, że ​​oszacowanie wektora parametru można zapisać , gdzie to wagi określone przez procedurę szacowania. Modele liniowe można rozwiązywać algebraicznie w formie zamkniętej, podczas gdy wiele modeli nieliniowych musi zostać rozwiązanych poprzez maksymalizację numeryczną za pomocą komputera.$\beta$$y_i$$y=e^x\beta+\epsilon$$y=e^\beta x + \epsilon$$\hat{\beta} = \sum_i{w_iy_i}$$\{w_i\}$

Ten post na minitab.com zawiera bardzo jasne wyjaśnienie:

• Model jest liniowy, jeśli można go zapisać w tym formacie:
  • Response = constant + parameter * predictor + ... + parameter * predictor
    • To znaczy, gdy każdy termin (w modelu) jest albo stałą, albo iloczynem parametru i zmiennej predykcyjnej.
  • Więc obie z nich są modele liniowe:
    • $Y = B_0 + B_1X_1$ (jest to linia prosta)
    • $Y = B_0 + B_1X_1^2$ (To jest krzywa)
• Jeśli model nie może być wyrażony przy użyciu powyższego formatu, jest nieliniowy.
  • Przykłady modeli nieliniowych:
    • $Y = B_0 +$$X_1^{B_1}$
    • $Y = B_0 \centerdot \cos (B_1 \centerdot X_1)$

Byłbym ostrożny, zadając to pytanie jako „regresji liniowej R” w porównaniu z pytaniem „regresji liniowej”. Formuły w R mają reguły, o których możesz wiedzieć lub nie. Na przykład:

http://wiener.math.csi.cuny.edu/st/stRmanual/ModelFormula.html

Zakładając, że pytasz, czy poniższe równanie jest liniowe:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * (b*c))

Odpowiedź brzmi tak, jeśli utworzysz nową zmienną niezależną, taką jak:

newv = b * c

Zastąpienie powyższego równania newv pierwotnym równaniem prawdopodobnie wygląda na to, czego oczekujesz od równania liniowego:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * newv)

Jeśli chodzi o referencje, Google „regresja” lub cokolwiek, co Twoim zdaniem może działać dla Ciebie.

Możesz zapisać regresję liniową jako (liniowe) równanie macierzowe.

$\left[ \matrix{a_1 \\a_2 \\a_3 \\a_4 \\a_5 \\ ... \\ a_n} \right] = \left[ \matrix{b_1 & c_1 & b_1*c_1 \\ b_2 & c_2 & b_2*c_2 \\b_3 & c_3 & b_3*c_3 \\b_4 & c_4 & b_4*c_4 \\b_5 & c_5 & b_5*c_5 \\ &...& \\ b_n & c_n & b_n*c_n } \right] \times \left[\matrix{\alpha_b & \alpha_c & \alpha_{b*c}} \right] + \left[ \matrix{\epsilon_1 \\\epsilon_2 \\\epsilon_3 \\\epsilon_4 \\\epsilon_5 \\ ... \\ \epsilon_n} \right]$

lub jeśli zwiniesz to:

$\mathbf{a} = \alpha_b \mathbf{b} + \alpha_c \mathbf{c} + \alpha_{b*c} \mathbf{b*c} + \mathbf{\epsilon}$

Ta regresja liniowa jest równoważna znalezieniu liniowej kombinacji wektorów , i najbliższej wektorowi .$\mathbf{b}$$\mathbf{c}$$\mathbf{b*c}$$\mathbf{a}$

(Ma to również interpretację geometryczną, jak znalezienie rzutu na rozpiętość wektorów , i . W przypadku problemu z dwoma wektorami kolumnowymi z trzema pomiarami można to nadal narysować jako rysunek, na przykład jak pokazano tutaj: http://www.math.brown.edu/~banchoff/gc/linalg/linalg.html )b c b ∗ $\mathbf{a}$$\mathbf{b}$$\mathbf{c}$$\mathbf{b*c}$

Zrozumienie tej koncepcji jest również ważne w regresji nieliniowej. Na przykład o wiele łatwiej jest rozwiązać niż ponieważ pierwsza parametryzacja pozwala rozwiązać oraz współczynnikom technik regresji liniowej. y = u ( e c ( t - v ) + e d ( t - v ) ) a $y=a e^{ct} + b e^{dt}$$y=u(e^{c(t-v)}+e^{d(t-v)})$$a$$b$