Pytania otagowane jako least-squares

Odnosi się do ogólnej techniki szacowania, która wybiera wartość parametru, aby zminimalizować kwadratową różnicę między dwiema wielkościami, taką jak wartość obserwowana zmiennej i oczekiwana wartość tej obserwacji uwarunkowana wartością parametru. Gaussowskie modele liniowe pasują do najmniejszych kwadratów, a najmniejsze kwadraty to idea leżąca u podstaw zastosowania błędu średniego kwadratu (MSE) jako metody oceny estymatora.

2
Korelacja między estymatorami OLS dla punktu przecięcia i nachylenia
W prostym modelu regresji y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, estymatory OLS i są skorelowane.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Wzór na korelację między dwoma estymatorami jest (jeśli poprawnie ją wyprowadziłem): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Pytania: Jakie jest intuicyjne wytłumaczenie obecności korelacji? Czy obecność korelacji ma jakieś ważne implikacje? Wpis …
4
ANOVA a wielokrotna regresja liniowa? Dlaczego ANOVA jest tak często stosowana w badaniach eksperymentalnych?
ANOVA a wielokrotna regresja liniowa? Rozumiem, że obie te metody wydają się wykorzystywać ten sam model statystyczny. Jednak w jakich okolicznościach powinienem skorzystać z której metody? Jakie są zalety i wady tych metod w porównaniu? Dlaczego ANOVA jest tak często stosowana w badaniach eksperymentalnych i rzadko znajduję badanie regresji?
1
Interwał przewidywania regresji liniowej
Jeśli najlepszym przybliżeniem liniowym (przy użyciu najmniejszych kwadratów) moich punktów danych jest linia y=mx+by=mx+by=mx+b , jak mogę obliczyć błąd przybliżenia? Jeśli obliczę odchylenie standardowe różnic między obserwacjami i prognozami ei=real(xi)−(mxi+b)ei=real(xi)−(mxi+b)e_i=real(x_i)-(mx_i+b) , czy mogę później powiedzieć, że rzeczywista (ale nie zaobserwowana) wartość yr=real(x0)yr=real(x0)y_r=real(x_0) należy do przedziału ( y p = m …
6
Dlaczego zwykle przy wyborze modelu minimalizujemy sumę błędów kwadratowych (SSE)?
Pytanie jest bardzo proste: dlaczego, kiedy próbujemy dopasować model do naszych danych, liniowy lub nieliniowy, zwykle próbujemy zminimalizować sumę kwadratów błędów, aby uzyskać nasz estymator parametru modelu? Dlaczego nie wybrać innej funkcji celu do zminimalizowania? Rozumiem, że z przyczyn technicznych funkcja kwadratowa jest ładniejsza niż niektóre inne funkcje, np. Suma …
3
Co oznacza „wszystko inne równe” w regresji wielokrotnej?
Kiedy wykonujemy wiele regresji i mówimy, że patrzymy na średnią zmianę zmiennej dla zmiany zmiennej , utrzymując wszystkie pozostałe zmienne na stałym poziomie, na jakich wartościach utrzymujemy inne zmienne jako stałe? Ich średni? Zero? Dowolna wartość?yyyxxx Jestem skłonny myśleć, że to ma jakąkolwiek wartość; tylko szukam wyjaśnień. Gdyby ktoś miał …
4
Dlaczego rozwiązanie najmniejszych kwadratów daje w tym przypadku słabe wyniki?
Obraz znajduje się na stronie 204, rozdział 4 „Rozpoznawanie wzorów i uczenie maszynowe” autorstwa Bishopa, gdzie nie rozumiem, dlaczego rozwiązanie najmniejszych kwadratów daje tutaj słabe wyniki: Poprzedni akapit dotyczył faktu, że rozwiązania najmniejszych kwadratów nie są odporne na wartości odstające, jak widać na poniższym obrazie, ale nie rozumiem, co się …
2
Dowód, że statystyka F jest zgodna z rozkładem F.
W świetle tego pytania: Dowód, że współczynniki w modelu OLS są zgodne z rozkładem t z (nk) stopniami swobody Chciałbym zrozumieć, dlaczego F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, gdzie jest liczbą parametrów modelu, a n liczbą obserwacji, a TSS wariancja całkowita, RSS wariancja resztkowa, jest zgodna z rozkładem F_ {p-1, np} .n …
2
Czy jest jakaś przewaga SVD nad PCA?
Wiem, jak obliczyć PCA i SVD matematycznie, i wiem, że oba można zastosować do regresji liniowej najmniejszych kwadratów. Główną zaletą SVD matematycznie wydaje się być to, że można ją zastosować do macierzy niekwadratowych. Oba skupiają się na rozkładzie macierzyPoza wymienioną przewagą SVD, czy istnieją jakieś dodatkowe zalety lub spostrzeżenia zapewniane …
20 pca  least-squares  svd 
2
Jak sensowne jest wykonywanie OLS po wyborze zmiennej LASSO?
Ostatnio odkryłem, że w stosowanej literaturze ekonometrycznej, gdy mamy do czynienia z problemami wyboru cech, nierzadko wykonuje się LASSO, a następnie regresję OLS przy użyciu wybranych zmiennych. Zastanawiałem się, jak możemy zakwalifikować ważność takiej procedury. Czy spowoduje to problemy takie jak pominięte zmienne? Jakieś dowody wskazujące, że jest on bardziej …
3
Czy istnieje wiele lokalnych optymalnych rozwiązań, gdy rozwiązujemy regresję liniową?
Przeczytałem to oświadczenie na jednym starym egzaminie prawda / fałsz: Możemy uzyskać wiele lokalnych optymalnych rozwiązań, jeśli rozwiążemy problem regresji liniowej, minimalizując sumę błędów kwadratu za pomocą spadku gradientu. Rozwiązanie: Fałsz Moje pytanie brzmi, która część tego pytania jest błędna? Dlaczego to stwierdzenie jest fałszywe?
6
Intuicyjne wyjaśnienie terminu w wariancie estymatora najmniejszych kwadratów
Jeśli ma pełną pozycję, istnieje odwrotność i otrzymujemy oszacowanie najmniejszych kwadratów: iXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Jak intuicyjnie wyjaśnić we wzorze wariancji? Technika wyprowadzania jest dla mnie jasna.(XTX)−1(XTX)−1(X^TX)^{-1}
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.