Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Czy ma sens łączenie PCA i LDA?
Załóżmy, że mam zestaw danych do nadzorowanego zadania klasyfikacji statystycznej, np. Za pomocą klasyfikatora Bayesa. Ten zestaw danych składa się z 20 elementów i chcę sprowadzić go do 2 elementów za pomocą technik redukcji wymiarów, takich jak analiza głównych składników (PCA) i / lub liniowa analiza dyskryminacyjna (LDA). Obie techniki …
3
Interpretacja regularyzacji grzbietu w regresji
Mam kilka pytań dotyczących kary za kalenicę w kontekście najmniejszych kwadratów: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Wyrażenie to sugeruje, że macierz kowariancji X jest zmniejszona w kierunku macierzy diagonalnej, co oznacza, że ​​(zakładając, że zmienne są znormalizowane przed procedurą) korelacja między zmiennymi wejściowymi zostanie obniżona. Czy ta interpretacja …
2
Korelacja między estymatorami OLS dla punktu przecięcia i nachylenia
W prostym modelu regresji y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, estymatory OLS i są skorelowane.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Wzór na korelację między dwoma estymatorami jest (jeśli poprawnie ją wyprowadziłem): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Pytania: Jakie jest intuicyjne wytłumaczenie obecności korelacji? Czy obecność korelacji ma jakieś ważne implikacje? Wpis …
5
W jaki sposób najważniejsze główne komponenty mogą zachować moc predykcyjną zmiennej zależnej (a nawet prowadzić do lepszych prognoz)?
Załóżmy, że używam regresji . Dlaczego, wybierając najlepsze głównych składników , model zachowuje moc predykcyjną na ?Y∼XY∼XY \sim XkkkXXXYYY Rozumiem, że z punktu widzenia redukcji wymiarów / wyboru cech, jeśli są wektorami własnymi macierzy kowariancji X z najwyższymi wartościami własnymi k , to Xv_1, Xv_2 ... Xv_k są pierwszymi k …
3
Intuicyjne rozumowanie stojące za stronniczymi estymatorami największej wiarygodności
Mam wątpliwości co do stronniczości estymatorów maksymalnego prawdopodobieństwa (ML). Matematyka całej koncepcji jest dla mnie dość jasna, ale nie mogę zrozumieć intuicyjnego uzasadnienia. Biorąc pod uwagę pewien zestaw danych, który zawiera próbki z rozkładu, który sam jest funkcją parametru, który chcemy oszacować, estymator ML daje wartość parametru, który najprawdopodobniej wygeneruje …
5
Jak przetestować i uniknąć wielokoliniowości w mieszanym modelu liniowym?
Obecnie korzystam z modeli liniowych z mieszanym efektem. Korzystam z pakietu „lme4” w języku R. Moje modele mają postać: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) Przed uruchomieniem moich modeli sprawdziłem możliwą wielokoliniowość między predyktorami. Zrobiłem to przez: Utwórz ramkę danych predyktorów dummy_df <- data.frame(predictor1, …
3
Jak interpretować dendrogram hierarchicznej analizy skupień
Rozważ przykład R poniżej: plot( hclust(dist(USArrests), "ave") ) Co dokładnie oznacza „wysokość” osi y? Patrząc na Karolinę Północną i Kalifornię (raczej po lewej). Czy Kalifornia jest „bliższa” Karolinie Północnej niż Arizona? Czy mogę dokonać takiej interpretacji? Hawaje (po prawej) dołączają do gromady dość późno. Widzę to, ponieważ jest „wyższe” niż …
4
Sprawdzanie założeń mieszanych modeli lmer / lme w R.
Przeprowadziłem powtarzający się projekt, w którym przetestowałem 30 mężczyzn i 30 kobiet w trzech różnych zadaniach. Chcę zrozumieć, jak różni się zachowanie mężczyzn i kobiet i jak to zależy od zadania. Użyłem zarówno pakietu lmer, jak i lme4, aby to zbadać, jednak utknąłem przy próbie sprawdzenia założeń dla każdej z …
5
Jak wygenerować dużą macierz korelacji losowej pełnej rangi z obecnymi silnymi korelacjami?
Chciałbym wygenerować losową macierz korelacji o wielkości n × n, tak aby występowały pewne umiarkowanie silne korelacje:CC\mathbf Cn×nn×nn \times n kwadratowa rzeczywista macierz symetryczna o rozmiarze , np. n = 100 ;n×nn×nn \times nn=100n=100n=100 pozytywnie określone, tj. ze wszystkimi wartościami własnymi rzeczywistymi i dodatnimi; pełna ranga; wszystkie elementy ukośne równe …
1
„Szacowanie gęstości jądra” jest splotem czego?
Próbuję lepiej zrozumieć szacowanie gęstości jądra. Korzystanie z definicji z Wikipedii: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fah^( x ) = 1n∑ni = 1K.h( x - xja)= 1n h∑ni = 1K.( x - xjah)fah^(x)=1n∑ja=1nK.h(x-xja)=1nh∑ja=1nK.(x-xjah) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Weźmy być funkcją prostokątną, co daje , jeżeli wynosi …
2
Jak korzystać z wyników R prcomp do prognozowania?
Mam data.frame z 800 obs. z 40 zmiennych i chciałbym zastosować zasadową analizę komponentów do poprawy wyników mojej prognozy (która do tej pory najlepiej działa z maszyną Vector Support na około 15 ręcznie wybranych zmiennych). Rozumiem, że prcomp może mi pomóc poprawić moje przewidywania, ale nie wiem, jak korzystać z …
25 r  pca 
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.