Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Suma współczynników rozkładu wielomianowego
\newcommand{\P}{\mathbb{P}} Rzucam sprawiedliwą kostką. Ilekroć dostaję 1, 2 lub 3, zapisuję „1”; za każdym razem, gdy dostaję 4, zapisuję „2”; za każdym razem, gdy dostaję 5 lub 6, zapisuję „3”. Niech będzie całkowitą liczbą rzutów, których potrzebuję, aby iloczyn wszystkich zapisanych przeze mnie liczb wynosił \ geq 100000 . Chcę …

2
Jak symulować dane, aby wykazać mieszane efekty z R (lme4)?
Jako odpowiednik tego postu pracowałem nad symulacją danych ze zmiennymi ciągłymi, nadając się do skorelowanych przechwyceń i nachyleń. Chociaż na stronie i poza nią są świetne posty na ten temat , miałem trudności ze znalezieniem od początku do końca przykładu z symulowanymi danymi, który byłby podobny do prostego scenariusza z …


1
Jakie są zagrożenia związane z obliczaniem korelacji Pearsona (zamiast tetrachorycznych) dla zmiennych binarnych w analizie czynnikowej?
Prowadzę badania nad grami edukacyjnymi, a niektóre z moich bieżących projektów polegają na wykorzystaniu danych z BoardGameGeek (BGG) i VideoGameGeek (VGG) w celu zbadania związków między elementami projektowania gier (tj. „Osadzonymi w II wojnie światowej”, „wymaga rzucania kostką” ) i oceny tych gier (tj. wyniki na 10). Każdy z tych …

1
Oczekiwana wartość iid zmiennych losowych
Natknąłem się na ten wyprowadzeniu których nie rozumiem: jeśli X1,X2,...,XnX1,X2,...,XnX_1, X_2, ..., X_n są losowych próbek o wymiarach N zaczerpniętych z populacji średniej μμ\mu i wariancji σ2σ2\sigma^2 , a następnie X¯=(X1+X2+...+Xn)/nX¯=(X1+X2+...+Xn)/n\bar{X} = (X_1 + X_2 + ... + X_n)/n E(X¯)=E(X1+X2+...+Xn)/n=(1/n)(E(X1)+E(X2)+...+E(Xn))E(X¯)=E(X1+X2+...+Xn)/n=(1/n)(E(X1)+E(X2)+...+E(Xn))E(\bar{X}) = E(X_1 + X_2 + ... + X_n)/n = (1/n)(E(X_1) …

2
Jaki jest rozkład liczności przecięcia niezależnych losowych próbek bez zamiany?
n ∈ N 1 , 2 , . . . , a m nSSS jest zestawem z elementami , a są stałymi dodatnimi liczbami całkowitymi mniejszymi lub równymi .n∈Nn∈Nn\in\mathbb{N}a1,a2,...,ama1,a2,...,ama_1,a_2,...,a_mnnn Ponieważ elementy są równie prawdopodobne, próbek jest osobno i niezależnie od bez zamiany, których wielkość wynosi odpowiednio .SSSmmmL1,L2,...,LmL1,L2,...,LmL_1, L_2,...,L_m1 , 2 …

2
Matematyczna definicja Asymptotyków Infill
Piszę artykuł, w którym zastosowano asymptotykę wypełnienia, a jeden z moich recenzentów poprosił mnie o podanie ścisłej matematycznej definicji tego, czym jest asymptotyka wypełnienia (tj. Z symbolami matematycznymi i notacją). Wydaje mi się, że nie mogę nic znaleźć w literaturze i miałem nadzieję, że ktoś może skierować mnie w stronę …

2
Czy można stosować analizę głównych składników w odniesieniu do cen akcji / danych niestacjonarnych?
Czytam przykład podany w książce Machine Learning for Hackers . Najpierw rozwinę ten przykład, a następnie omówię moje pytanie. Przykład : Pobiera zestaw danych na 10 lat z 25 cenami akcji. Uruchamia PCA w cenie 25 akcji. Porównuje główny składnik z indeksem Dow Jones. Obserwuje bardzo silne podobieństwo między PC …

2
Co dokładnie robi
Co oznacza notacja (kropka nad tyldą), w kontekście takich jak ? x ˙ ∼ N(0,1)∼˙∼˙\dot\simx∼˙N(0,1)x∼˙N(0,1)x \mathrel{\dot\sim} \mathcal N(0,1) Okazuje się, że łatwiej jest znaleźć sposób poprawnego wpisania : tex.SE wyjaśnia, że należy pisać \mathrel{\dot\sim}zamiast po prostu \dot\simnaprawić problem z odstępami - niż znaleźć, co to właściwie znaczy. Do tej pory …

1
Udowodnij / odrzuć
Udowodnij / odrzuć E[1A|Ft]=0 or 1 a.s. ⇒E[1A|Fs]=E[1A|Ft] a.s.E[1A|Ft]=0 or 1 a.s. ⇒E[1A|Fs]=E[1A|Ft] a.s.E[1_A | \mathscr{F_t}] = 0 \ \text{or} \ 1 \ \text{a.s.} \ \Rightarrow E[1_A | \mathscr{F_{s}}] = E[1_A | \mathscr{F_t}] \ \text{a.s.} Biorąc filtrowanego przestrzeń prawdopodobieństwa (Ω,F,{Fn}n∈N,P)(Ω,F,{Fn}n∈N,P)(\Omega, \mathscr{F}, \{\mathscr{F}_n\}_{n \in \mathbb{N}}, \mathbb{P}) , niech A∈FA∈FA \in \mathscr{F} …

3
Jak czytać p, d i q z auto.arima ()?
Jak mogę uzyskać oszacowane p,d and qwartości w ARIMA(p,d,q)modelu auto.arima(mytimeseries)? arima_model <- auto.arima (mytimeseries, ic = 'bic') Jeśli spojrzymy na wynik arima_model $ arma dostajemy [1] 1 0 0 0 1 2 0 Jakie jest znaczenie liczb pojawiających się w powyższej kolejności?
10 r  arima 

3
Jakich metod statystycznych mogę użyć do znalezienia popularnych lub powszechnych kombinacji zmiennych kategorialnych?
Robię badania nad używaniem wielu narkotyków. Mam zestawy danych o 400 narkomanach, którzy stwierdzili, że używają narkotyków. Istnieje ponad 10 leków, a więc istnieją duże możliwe kombinacje. Przekodowałem większość spożywanych przez siebie narkotyków na zmienne binarne (tj. Heroina wynosi 1, jeśli narkoman nadużywał heroiny w innym przypadku 0). Chciałbym znaleźć …

1
Regresja logistyczna vs chi-kwadrat w tablicach kontyngencji 2x2 i Ix2 (pojedynczy czynnik - odpowiedź binarna)?
Próbuję zrozumieć zastosowanie regresji logistycznej w tabelach awaryjnych 2x2 i Ix2. Na przykład, używając tego jako przykładu Jaka jest różnica między użyciem testu chi-kwadrat a użyciem regresji logistycznej? Co z tabelą z wieloma współczynnikami nominalnymi (tabela Ix2) w następujący sposób: Jest to podobne pytanie tutaj - ale odpowiedź jest głównie …

2
Skaluj zmienną jako dane zliczania - poprawne czy nie?
W tym artykule (bezpłatnie dostępnym za pośrednictwem centralnej PubMed) autorzy wykorzystują ujemną regresję dwumianową do modelowania wyniku na 10-elementowym instrumencie przesiewowym z wynikiem 0–40. Ta procedura zakłada dane zliczania, co oczywiście nie ma miejsca w tym przypadku. Chciałbym poznać twoje opinie na temat tego, czy takie podejście jest dopuszczalne, ponieważ …

1
Co należy rozumieć przez zachowanie przez PCA jedynie dużych par odległości?
Obecnie czytam technikę wizualizacji t-SNE i wspomniano, że jedną z wad stosowania analizy głównych składników (PCA) do wizualizacji danych wielowymiarowych jest to, że zachowuje ona jedynie duże parowe odległości między punktami. Znaczące punkty, które są daleko od siebie w przestrzeni wielowymiarowej, również pojawią się daleko od siebie w niskiej przestrzeni …

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.