Pytania otagowane jako least-squares

Odnosi się do ogólnej techniki szacowania, która wybiera wartość parametru, aby zminimalizować kwadratową różnicę między dwiema wielkościami, taką jak wartość obserwowana zmiennej i oczekiwana wartość tej obserwacji uwarunkowana wartością parametru. Gaussowskie modele liniowe pasują do najmniejszych kwadratów, a najmniejsze kwadraty to idea leżąca u podstaw zastosowania błędu średniego kwadratu (MSE) jako metody oceny estymatora.

4
Dlaczego zwykłe najmniejsze kwadraty działają lepiej niż regresja Poissona?
Próbuję dopasować regresję, aby wyjaśnić liczbę zabójstw w każdej dzielnicy miasta. Chociaż wiem, że moje dane są zgodne z rozkładem Poissona, próbowałem dopasować taki OLS: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Następnie spróbowałem (oczywiście!) Regresji Poissona. Problemem jest to, że lepsze wyniki w regresji OLS: pseudo jest wyższa …
1
Dowód formuły LOOCV
Z An Introduction to Statistical Learning przez James i wsp., Przerwa, jeden z krzyżowego (LOOCV) oszacowanie jest określone przez CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i gdzieMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Bez dowodu równanie (5.2) stwierdza, że ​​dla regresji metodą najmniejszych kwadratów lub wielomianu (to, czy dotyczy to regresji tylko jednej zmiennej, jest dla mnie nieznane), …
1
MLE vs najmniejsze kwadraty w dopasowywanych rozkładach prawdopodobieństwa
Mam wrażenie, że na podstawie kilku artykułów, książek i artykułów, które przeczytałem, zalecanym sposobem dopasowania rozkładu prawdopodobieństwa na zbiorze danych jest oszacowanie maksymalnego prawdopodobieństwa (MLE). Jednak jako fizyk bardziej intuicyjny sposób polega na dopasowaniu pdf modelu do empirycznego pdf danych przy użyciu najmniejszych kwadratów. Dlaczego zatem MLE jest lepszy od …
3
Dlaczego nie skorzystać z „równań normalnych”, aby znaleźć proste współczynniki najmniejszych kwadratów?
Widziałem tę listę tutaj i nie mogłem uwierzyć, że istnieje tak wiele sposobów rozwiązania najmniejszych kwadratów. „Normalne równania” na Wikipedii wydawał się być dość prosty sposób do α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Dlaczego więc ich nie użyć? Zakładam, …
1
Pominięte zmienne odchylenie w regresji logistycznej vs. pominięte zmienne odchylenie w zwykłej regresji metodą najmniejszych kwadratów
Mam pytanie dotyczące pominiętej zmienności stronniczej w regresji logistycznej i liniowej. Powiedzmy, że pomijam niektóre zmienne z modelu regresji liniowej. Udawaj, że te pominięte zmienne nie są skorelowane ze zmiennymi, które zawarłem w moim modelu. Te pominięte zmienne nie wpływają na współczynniki w moim modelu. Ale w regresji logistycznej właśnie …
4
Jaki jest związek między
Zastanawiałem się, czy istnieje związek między a testem F.R2R2R^2 Zwykle i mierzy siłę związek liniowy w regresji.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} Test F tylko potwierdza hipotezę. Czy istnieje związek pomiędzy R2R2R^2 i F-test?
1
Pytanie, jak znormalizować współczynnik regresji
Nie jestem pewien, czy normalizacja jest tu właściwym słowem, ale postaram się zilustrować, o co próbuję zapytać. Zastosowany tutaj estymator to najmniej kwadratów. Załóżmy, że masz y=β0+β1x1y=β0+β1x1y=\beta_0+\beta_1x_1 , możesz wyśrodkować go wokół średniej o y=β′0+β1x′1y=β0′+β1x1′y=\beta_0'+\beta_1x_1' gdzie β′0=β0+β1x¯1β0′=β0+β1x¯1\beta_0'=\beta_0+\beta_1\bar x_1 i x′1=x−x¯x1′=x−x¯x_1'=x-\bar x , tak że β′0β0′\beta_0' nie ma już żadnego wpływu …
1
Definicja i zbieżność iteracyjnie ważonych najmniejszych kwadratów
Używałem iteracyjnie ponownie ważonych najmniejszych kwadratów (IRLS), aby zminimalizować funkcje następującej formy, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) gdzie jest liczbą wystąpień , jest dokładnym oszacowaniem, którego chcę, a jest odpowiednią solidną funkcją kary. Powiedzmy, że jest wypukły (choć niekoniecznie ściśle) i na razie różnicowalny. Dobrym przykładem …
2
Miary heteroscedastyczności reszt
Ten link do Wikipedii zawiera szereg technik wykrywania heteroscedastyczności resztek OLS. Chciałbym dowiedzieć się, która praktyczna technika jest bardziej skuteczna w wykrywaniu regionów dotkniętych heteroscedastycznością. Na przykład tutaj centralny obszar wykresu OLS „Resztki vs Dopasowane” ma większą wariancję niż boki wykresu (w rzeczywistości nie jestem do końca pewien, ale załóżmy, …
2
Dlaczego macierz projekcji ortogonalnej projekcji jest symetryczna?
Jestem w tym całkiem nowy, więc mam nadzieję, że wybaczysz mi, jeśli pytanie jest naiwne. (Kontekst: Uczę się ekonometrii z książki Davidsona i MacKinnona „Teoria ekonometryczna i metody” i wydaje się, że nie wyjaśniają tego; przyjrzałem się także książce optymalizacyjnej Luenbergera, która zajmuje się projekcjami na nieco bardziej zaawansowanym poziomie, …
1
Dlaczego ta regresja NIE zawodzi z powodu doskonałej wielokoliniowości, chociaż jedna zmienna jest liniową kombinacją innych?
Dzisiaj bawiłem się małym zestawem danych i wykonałem prostą regresję OLS, która, jak się spodziewałem, zawiodła z powodu doskonałej wielokoliniowości. Jednak tak się nie stało. Oznacza to, że moje rozumienie wielokoliniowości jest błędne. Moje pytanie brzmi: gdzie się mylę? Myślę, że mogę pokazać, że jedna z moich zmiennych jest liniową …
1
Inne obiektywne estymatory niż NIEBIESKI (rozwiązanie OLS) dla modeli liniowych
W przypadku modelu liniowego rozwiązanie OLS zapewnia najlepszy liniowy obiektywny estymator parametrów. Oczywiście możemy wymieniać nastawienie na niższe wariancje, np. Regresję grzbietu. Ale moje pytanie dotyczy braku uprzedzeń. Czy istnieją inne powszechnie stosowane estymatory, które są obiektywne, ale mają większą wariancję niż parametry szacowane OLS? Gdybym miał ogromny zestaw danych, …
1
Mam linię najlepszego dopasowania. Potrzebuję punktów danych, które nie zmienią mojej linii najlepszego dopasowania
Prowadzę prezentację na temat dopasowania linii. Mam prostą funkcję liniową, . Próbuję uzyskać rozproszone punkty danych, które mogę umieścić na wykresie rozrzutu, który utrzyma moją linię najlepszego dopasowania na tym samym równaniu.y=1x+by=1x+by=1x+b Chciałbym nauczyć się tej techniki w R lub Excel - w zależności od tego, co jest łatwiejsze.
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.