Biorąc pod uwagę dwa modele regresji liniowej, który model byłby lepszy?

Na studiach podjąłem kurs uczenia maszynowego. W jednym z quizów zadano to pytanie.

Model 1:
$y = θ x + ϵ$ $y = \theta x + \epsilon$ Model 2: $y = θ x + θ^{2} x + ϵ$ $y = \theta x + \theta^2 x + \epsilon$
Który z powyższych modeli lepiej pasowałby do danych? (załóżmy, że dane mogą być modelowane przy użyciu regresji liniowej)

Prawidłowa odpowiedź (zdaniem profesora) jest taka, że oba modele działałyby równie dobrze. Uważam jednak, że pierwszy model byłby lepiej dopasowany.

To jest powód mojej odpowiedzi. Drugi model, który można przepisać jako $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ , nie będzie taki sam jak pierwszy model. $\alpha$ jest w rzeczywistości parabolą, a zatem ma wartość minimalną ( $-0.25$ w tym przypadku ). Z tego powodu zakres $\theta$ w pierwszym modelu jest większy niż zakres $\alpha$ w drugim modelu. Dlatego jeśli dane były takie, że najlepsze dopasowanie miało nachylenie mniejsze niż $-0.25$ , drugi model działałby bardzo słabo w porównaniu z pierwszym. Jednak w przypadku, gdy nachylenie najlepszego dopasowania było większe niż $-0.25$ , oba modele wypadłyby równie dobrze.

Czy pierwszy jest lepszy, czy oba są dokładnie takie same?

— kush
źródło

Myślę że masz rację. Wymaganie, aby parametr

był wyrażalny jako

(dla niektórych

), rzeczywiście wymusza ograniczenie tego, co

jest możliwe. Oznacza to, że drugi model może wyrażać mniej zależności niż pierwszy, ponieważ jest to zasadniczo ograniczony problem optymalizacji. Twoje rozumowanie wydaje mi się solidne.

α

$\alpha$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

α

$\alpha$

— Matthew Drury,

@MatthewDrury Właśnie zorientowałem się, gdzie popełniłem błąd, spójrz na odpowiedź poniżej (i komentarz)

— kush

Widzę twój komentarz, ale jest to dość poważna gimnastyka, która zakłada, że

przyjąłby złożone wartości. Na pewno będę uczestniczył w kilku godzinach pracy, aby porozmawiać o tym z profesorem. Tak czy inaczej uzyskasz dobrą dyskusję.

θ

$\theta$

— Matthew Drury,

Nie jest dla mnie jasne, skąd pochodzi -0,25. Możesz wyjaśnić?

— Mad Jack

Byłbym zainteresowany tym, jak twój profesor dopasowałby każdy model do dwupunktowego zestawu danych

. W przypadku Modelu 1 i

dopasowanie jest idealne, ale jak oceniłby

w Modelu 2, aby uzyskać idealne dopasowanie?

{(1, - 1), (2, - 2)}

$\{(1,-1),(2,-2)\}$

θ = - 1

$\theta=-1$

θ

$\theta$

— whuber

Odpowiedzi:

Model 2 można zapisać jako: Wydaje się to podobne do modelu 1, tylko z inną notacją dla hiperparametrów ( ). Jednak dla modelu 1 możemy zapisać

y = (θ + θ^{2}) x + ϵ = β x + ϵ .

$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$

θ, β

$\theta, \beta$

\hat{θ} = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$

But since in model 2 we have that

β = θ + θ^{2},

$\beta=\theta + \theta^{2},$ then as you mentioned indeed the range of

\hat{β}

$\hat{\beta}$ should belong to

[- 0.25, + \infty]

$[-0.25,+\infty]$ for

θ \in R

$\theta \in R$ . Which will lead to difference in these 2 models.

$\hat{\theta}$

\hat{θ} = \arg min_{θ \in R} (y - X θ)^{^{'}} (y - X θ) = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$ However in the model 2 the estimate is obtained through

\hat{β} = \arg min_{β \geq - 0.25} (y - X β)^{^{'}} (y - X β)

$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$ which might lead to a different result.

— Wis
źródło

That makes sense, it just struck me that there is no constraint on

θ

$\theta$ in the second model! In case

θ + θ^{2}

$\theta + \theta^2$ is negative,

θ

$\theta$ might have complex values. However that doesn't really affect the model, right? I don't have rep to upvote, but thanks a lot!

— kush

@kush Please check my edited response that also adresses your concern

— Wis

Not sure I understand your reasoning. If you take:

y = α x + ϵ

$y = \alpha x+\epsilon$ and

y = θ x + ϵ

$y = \theta x + \epsilon$

and estimate $\alpha$ and $\theta$ using a simple linear regression, you will get $\alpha$ = $\theta$ . Moreover, since the methodology is exactly the same there is no difference in the $R^2$ value you would get in either equation. The underlying value of $\theta$ in the first equation will of course be different, since $\alpha = \theta + \theta^2$ , but this has nothing to do with fit.

— akeenlogician
źródło

θ

$\theta$ in the first model can take any value in range

(- \infty, \infty)

$(- \infty, \infty)$ However

α

$\alpha$ in the second model can take values only in range

(- 0.25, \infty)

$(- 0.25, \infty)$ . So when we treat both of them as a simple linear regression model, are we not putting a restriction on the coefficient of

x

$x$ (in the second model)? Wouldn't this raise an issue in case the best fit for the data has a negative slope?

— kush