Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

5
Skurcz Jamesa-Steina „na wolności”?
Uwielbia mnie koncepcja kurczenia się Jamesa-Steina (tzn. Że nieliniowa funkcja pojedynczej obserwacji wektora prawdopodobnie niezależnych normalnych może być lepszym estymatorem średnich zmiennych losowych, gdzie „lepszy” jest mierzony przez błąd kwadratu ). Jednak nigdy nie widziałem tego w pracy stosowanej. Najwyraźniej nie jestem wystarczająco dobrze przeczytany. Czy są jakieś klasyczne przykłady, …
2
Czy istnieje standardowa metoda radzenia sobie z problemem zmiany etykiety w ocenie MCMC modeli mieszanin?
Przełączanie etykiet (tj. Rozkład tylny jest niezmienny w stosunku do przełączania etykiet składników) jest problematycznym problemem przy użyciu MCMC do oszacowania modeli mieszanin. Czy istnieje standardowa (jak w powszechnie akceptowanej) metodologia radzenia sobie z tym problemem? Jeśli nie ma standardowego podejścia, jakie są zalety i wady wiodących podejść do rozwiązania …
15 bayesian  mcmc  mixture 
3
Jak decydujesz o wielkości próby podczas odpytywania dużej populacji?
W Australii odbywają się obecnie wybory, a co zrozumiałe, media codziennie informują o nowych wynikach ankiety politycznej. W jakim kraju liczącym 22 miliony należy pobrać próbki, aby uzyskać statystycznie prawidłowy wynik? Czy to możliwe, że użycie zbyt dużej próbki może wpłynąć na wyniki, czy też ważność statystyczna wzrasta monotonicznie wraz …
8
Alternatywna grafika do wykresów „obsługi paska”
W moim obszarze badań popularnym sposobem wyświetlania danych jest użycie kombinacji wykresu słupkowego z „uchwytami”. Na przykład, „Kierownice” zmieniają się pomiędzy standardowymi błędami i standardowymi odchyleniami w zależności od autora. Zazwyczaj rozmiary próbek dla każdego „słupka” są dość małe - około sześciu. Te wykresy wydają się być szczególnie popularne w …
5
Czy można zastosować regresję wielokrotną, aby przewidzieć jeden główny składnik (PC) z kilku innych komputerów?
Jakiś czas temu użytkownik na liście dyskusyjnej R-help zapytał o zasadność korzystania z wyników PCA w regresji. Użytkownik próbuje użyć wyników komputerowych w celu wyjaśnienia różnic na innym komputerze (patrz pełna dyskusja tutaj ). Odpowiedź brzmiała: nie, to nie jest dźwięk, ponieważ komputery PC są do siebie prostopadłe. Czy ktoś …
15 regression  pca 
5
Dlaczego szkoły amerykańskie i brytyjskie uczą różnych metod obliczania odchylenia standardowego?
Jak rozumiem, brytyjskie szkoły uczą, że odchylenie standardowe można znaleźć za pomocą: mając na uwadze, że szkoły amerykańskie uczą: (w każdym razie na poziomie podstawowym). W przeszłości powodowało to problemy wielu moich studentów, którzy szukali w Internecie, ale znaleźli złe wyjaśnienie. Skąd ta różnica? Przy prostych zestawach danych powiedz 10 …
4
Dlaczego potrzebujemy estymatora, aby był spójny?
Myślę, że zrozumiałem już matematyczną definicję spójnego estymatora. Popraw mnie, jeśli się mylę: WnWnW_n jest spójnym estymatorem dlaθθ\theta jeśli∀ϵ>0∀ϵ>0\forall \epsilon>0 limn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θlimn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θ\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta Gdzie jest przestrzenią parametryczną. Ale chcę zrozumieć, że estymator musi być spójny. Dlaczego niespójny estymator jest zły? Czy możesz …
5
Jak obchodzić się z wieloma seriami jednocześnie?
Mam zestaw danych obejmujący zapotrzebowanie na kilka produktów (1200 produktów) na 25 okresów i muszę przewidzieć zapotrzebowanie na każdy produkt na następny okres. Na początku chciałem użyć ARIMA i trenować model dla każdego produktu, ale ze względu na liczbę produktów i dostosowanie parametrów (p, d, q) jest to czasochłonne i …
2
Co to jest podział na funkcje?
Czytam podręcznik Gaussa Process for Machine Learning autorstwa CE Rasmussena i CKI Williams i mam problem ze zrozumieniem, co oznacza podział na funkcje . W podręczniku podano przykład, że należy sobie wyobrazić funkcję jako bardzo długi wektor (czy w rzeczywistości powinien być nieskończenie długi?). Tak więc wyobrażam sobie rozkład funkcji …
5
Jaka jest potrzeba założeń w regresji liniowej?
W regresji liniowej przyjmujemy następujące założenia Średnia odpowiedzi, E(Yi)E(Yi)E(Y_i) , dla każdego zestawu wartości predyktorów (x1i,x2i,…)(x1i,x2i,…)(x_{1i}, x_{2i},…) , jest funkcją liniową predyktorów. Błędy εiεiε_i są niezależne. Błędy εiεiε_i dla każdego zestawu wartości predyktorów (x1i,x2i,…)(x1i,x2i,…)(x_{1i}, x_{2i},…) są rozkładem normalnym. Błędy dla każdego zestawu wartości predyktorów mają jednakowe wariancje (oznaczone σ2 ).εiεiε_i(x1i,x2i,…)(x1i,x2i,…)(x_{1i}, …
4
Czym * jest * sztuczna sieć neuronowa?
Zagłębiając się w literaturę o sieciach neuronowych , identyfikujemy inne metody z topologiami neuromorficznymi (architektury podobne do „sieci neuronowej”). I nie mówię o uniwersalnym twierdzeniu o aproksymacji . Przykłady podano poniżej. Zastanawiam się: jaka jest definicja sztucznej sieci neuronowej? Wygląda na to, że jego topologia obejmuje wszystko. Przykłady: Jedną z …
1
Minimalizowanie stronniczości w modelowaniu objaśniającym, dlaczego? (Galit Shmueli „Wyjaśnić lub przewidzieć”)
To pytanie odnosi się do pracy Galit Shmueli „Wyjaśnić lub przewidzieć” . W szczególności w sekcji 1.5 „Wyjaśnianie i przewidywanie są różne” profesor Shmueli pisze: W modelowaniu objaśniającym nacisk kładziony jest na minimalizowanie stronniczości w celu uzyskania jak najdokładniejszej reprezentacji podstawowej teorii. To mnie intrygowało za każdym razem, gdy czytam …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.