Rozróżnienie między modelem liniowym a nieliniowym

13

Przeczytałem kilka wyjaśnień na temat właściwości modeli liniowych vs nieliniowych, ale czasami nie jestem pewien, czy model pod ręką jest liniowy czy nieliniowy. Na przykład, czy następujący model jest liniowy czy nieliniowy?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

Z:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Gdzie reprezentuje (rozkładającą się) wykładniczą funkcję wielomianową modelu Almon: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

Moim zdaniem moje główne równanie (pierwsze) jest liniowe w odniesieniu do , ponieważ ten termin jest po prostu pomnożony przez wagę. Powiedziałbym jednak, że funkcja ważenia (ostatnie równanie) jest nieliniowa w odniesieniu do parametrów ans . $X_t$ $\theta_1$ $\theta_2$

Czy ktoś może mi wyjaśnić, czy moja główna funkcja jest liniowa czy nieliniowa i co to oznacza dla procedury estymacji - czy muszę stosować liniową lub nieliniową metodę najmniejszych kwadratów ?. Co więcej, jaka jest dostrzegalna cecha, za pomocą której zdecydowanie mogę stwierdzić, czy funkcja jest funkcją nieliniową czy liniową?

linear-model nonlinear-regression nonlinear

— DatamineR
źródło

17

Przy zwykłych definicjach liniowych i nieliniowych w odniesieniu do modelowania, nie liniowość w odniesieniu do predyktorów jest aspektem krytycznym, ale liniowość w odniesieniu do parametrów. Model nieliniowy jest nieliniowy, ponieważ nie ma parametrów liniowych.

Na przykład pierwsze zdanie tutaj brzmi:

W statystyce regresja nieliniowa jest formą analizy regresji, w której dane obserwacyjne są modelowane przez funkcję, która jest nieliniową kombinacją parametrów modelu i zależy od jednej lub więcej zmiennych niezależnych.

Natomiast uogólnione modele liniowe mają na ogół nieliniową zależność między odpowiedzią a predyktorami, ale średnia odpowiedź transformowana łącznikiem ( predyktor liniowy , ) jest liniowa w parametrach. $\eta$

[Według tej definicji uważam, że twój model jest nieliniowy w , chociaż jeśli s są określone (znane), to ta nieliniowość nie ma znaczenia dla oszacowania. Jeśli są dopasowywane, wówczas model jest nieliniowy.] $\theta$ $\theta$

— Glen_b - Przywróć Monikę
źródło

Co masz na myśli „w odniesieniu do parametrów”? Czy możesz podać 2 przykłady liniowego i nieliniowego?

— NoName

1

Mam na myśli, że to parametry muszą być argumentem odwzorowania liniowego ; podczas pisania i , z i argumenty (wejścia) do odwzorowywania są parametrami wektorów (takich jak współczynniki na przykład w regresji lub w predyktorze liniowym w GLM). Zauważ, że jest liniowy w w zamierzonym znaczeniu (tj. jest mapowaniem liniowym). Jako jeden przykład pod uwagę . To nie jest liniowe w x, ale jest liniowe w .

f (c v) = c f (v)

$f(cv)=cf(v)$

f (u + v) = f (u) + f (v)

$f(u+v) = f(u)+f(v)$

u

$u$

v

$v$

f

$f$

η = X β

$\eta=X\beta$

β

$\beta$

η (β)

$\eta(\beta)$

E [Y] = β_{0} + β_{1} x + β_{2} \log (x)

$E[Y]=\beta_0+\beta_1x+\beta_2 \log(x)$

β

$\beta$

— Glen_b

1

Tymczasem nie jest liniowy w , ponieważ trzeci składnik wchodzi nieliniowo ..

E [Y] = β_{0} + β_{1} \exp (β_{2} x)

$E[Y]=\beta_0+\beta_1\exp(\beta_2 x)$

β

$\beta$

β

$\beta$

— Glen_b

9

Zgadzam się z Glen_b. W problemach regresji główny nacisk kładziony jest na parametry, a nie na zmienną niezależną lub predyktor, x. A potem można zdecydować, czy chce się zlinearyzować problem, stosując proste transformacje, czy kontynuować jako taki.

Problemy liniowe: policz liczbę parametrów w swoim problemie i sprawdź, czy wszystkie mają moc 1. Na przykład . Ta funkcja jest nieliniowa w . Ale w przypadku problemów z regresją nieliniowość w nie stanowi problemu. Trzeba sprawdzić, czy parametry są liniowe czy liniowe. W tym przypadku wszystkie , , , .. mają moc 1. Są więc liniowe. $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

Zauważ, że w , choć wygląda na to, że ma moc 1, ale po rozwinięciu . Widać wyraźnie, że jest to parametr nieliniowy, ponieważ a ma moc większą niż 1. Ale problem ten można zlinearyzować, wywołując transformację logarytmiczną. Oznacza to, że problem regresji nieliniowej jest przekształcany w problem regresji liniowej. $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

Podobnie, jest funkcją logistyczną. Ma trzy parametry, a mianowicie , i . Parametry i mają moc większą niż 1, a po rozwinięciu mnożą się z każdym inne przynoszą nieliniowość. Więc nie są one liniowe, ale mogą być również linearyzowane przy użyciu właściwego podstawienia, ustawiając najpierw a następnie wywołując funkcję logarytmiczną po obu stronach w celu linearyzacji. $y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

Załóżmy teraz, że . Jest to znów nieliniowe w odniesieniu do parametrów. Ale nie można go zlinearyzować. Należy zastosować regresję nieliniową. $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

Zasadniczo stosowanie strategii liniowej w celu rozwiązania problemu regresji nieliniowej nie jest dobrym pomysłem. Zatem rozwiązuj problemy liniowe (gdy wszystkie parametry mają moc 1), stosując regresję liniową i zastosuj regresję nieliniową, jeśli parametry są nieliniowe.

W twoim przypadku zastąp funkcję ważenia z powrotem w funkcji głównej. Parametr byłby jedynym parametrem o potędze 1. Wszystkie pozostałe parametry są nieliniowe ( ostatecznie mnoży się przez i (te dwa są parametrami nieliniowymi), co czyni go również nieliniowym. Dlatego jest to problem regresji nieliniowej . $\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Zastosuj nieliniową technikę najmniejszych kwadratów, aby ją rozwiązać. Sprytnie wybieraj wartości początkowe i używaj podejścia wieloczęściowego, aby znaleźć globalne minima.

Ten film będzie pomocny (choć nie mówi o globalnym rozwiązaniu): http://www.youtube.com/watch?v=3Fd4ukzkxps

Korzystanie z nieliniowego solvera GRG w arkuszu kalkulacyjnym Excel (zainstaluj pakiet narzędzi solvera, przechodząc do opcji - Dodatki - Dodatki Excela, a następnie wybierając Dodatek Solver) i wywołując multistart na liście opcji, przepisując interwały parametrom i wymagające precyzja ograniczenia i zbieżność mają być małe, można uzyskać globalne rozwiązanie.

Jeśli korzystasz z Matlaba, użyj globalnego zestawu narzędzi optymalizacji. Posiada opcje wyszukiwania wielostartowego i globalnego. Niektóre kody są dostępne tutaj dla globalnego rozwiązania, tutaj i tutaj .

Jeśli używasz Mathematica, spójrz tutaj .

Jeśli używasz R, spróbuj tutaj .

— Bipi
źródło

1

Dzięki, @Bipi, za przykłady! Po drugie, jeśli ustawisz Y = (a / y - 1), jak możesz oddzielić parametr od zmiennej y?

— Vivek Subramanian

0

Główna funkcja jest liniowa.

Nie ma znaczenia, czy w równaniach pojawią się znane funkcje nieliniowe ==> <==. $B(L;\theta)$

Gdybym był tobą, kontynuowałbym liniową metodą najmniejszych kwadratów.

Oto jak potwierdzasz lub zaprzeczasz liniowości:

https://en.wikipedia.org/wiki/Non-linear#Definition

Może ci się spodobać również:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathematics)

— Ace Frahm
źródło

0

Łatwo to zrozumieć, jeśli wyjaśnię to w kontekście funkcji.

Liniowy: funkcja o stałym nachyleniu. Algebraicznie, wielomian z najwyższym wykładnikiem równym 1. Jest to funkcja, której wykres jest linią. Na przykład,y=2x+3

Nieliniowe : funkcja, która ma przeciwne właściwości funkcji liniowej. Funkcja o zmiennym nachyleniu. Jest to wielomian z wykładnikiem równym 2 lub więcej. To wykres nie jest linią. Na przykład,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html][1]

— Irfanullah
źródło

Liniowe modele statystyczne nie są tym samym co funkcje liniowe. Funkcja nieliniowa z szumem addytywnym może nadal być modelem liniowym, ponieważ liniowość jest określona przez parametry modelu, a nie zmienne predykcyjne.

— Michael R. Chernick