Statystyki i duże zbiory danych intuition

1

Geometryczne rozumienie PCA w badanej (podwójnej) przestrzeni

Próbuję uzyskać intuicyjne zrozumienie działania analizy głównych składników (PCA) w przestrzeni przedmiotowej (podwójnej) . Rozważ zestaw danych 2D z dwiema zmiennymi, x1x1x_1 i x2x2x_2 oraz punktami danych (macierz danych wynosi i zakłada się, że jest wyśrodkowana). Typowa prezentacja PCA polega na tym, że bierzemy pod uwagę punktów w , zapisujemy …

19 pca linear-algebra intuition geometry

5

Intuicja (geometryczna lub inna)

Rozważ podstawową tożsamość wariancji: V a r ( X )= E [ ( X - E [ X ] ) 2 ]= . . .= E [ X 2 ] - ( E [ X ] ) 2Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 …

19 variance descriptive-statistics intuition

2

Sens niezależnej analizy komponentów

Widziałem i podobało mi się pytanie Zrozumienie analizy głównych składników , a teraz mam to samo pytanie dotyczące analizy niezależnych składników. Chcę zadać kompleksowe pytanie na temat intuicyjnych sposobów rozumienia ICA? Chcę to zrozumieć . Chcę to zrozumieć. Chcę to poczuć. Mocno w to wierzę: Tak naprawdę czegoś nie rozumiesz, …

18 intuition ica

2

Grupowanie - intuicja stojąca za twierdzeniem Kleinberga o niemożliwości

Zastanawiałem się nad napisaniem posta na blogu na temat tej ciekawej analizy Kleinberga (2002), która bada trudność tworzenia klastrów. Kleinberg przedstawia trzy pozornie intuicyjne desiderata funkcji klastrowania, a następnie udowadnia, że taka funkcja nie istnieje. Istnieje wiele algorytmów grupowania, które spełniają dwa z trzech kryteriów; jednak żadna funkcja nie może …

17 mathematical-statistics clustering intuition hierarchical-clustering

2

Dlaczego CDF próbki jest równomiernie rozmieszczony

Czytałem tutaj , że biorąc próbkę z ciągłego rozkładu z ED M X próbkę odpowiadającą U I = C X ( X I ) następujące standardowe rozkładu równomiernego.X1,X2,...,XnX1,X2,...,Xn X_1,X_2,...,X_n FXFX F_X Ui=FX(Xi)Ui=FX(Xi) U_i = F_X(X_i) Zweryfikowałem to za pomocą symulacji jakościowych w Pythonie i łatwo mogłem zweryfikować związek. import matplotlib.pyplot …

17 pdf uniform cdf intuition

2

Dla jakich (symetrycznych) rozkładów próbka oznacza bardziej wydajny estymator niż mediana próby?

Pracowałem w przekonaniu, że mediana próbki jest bardziej niezawodną miarą tendencji centralnej niż średnia próbki, ponieważ ignoruje wartości odstające. Byłem zatem zaskoczony, gdy dowiedziałem się (w odpowiedzi na inne pytanie ), że dla próbek pobranych z rozkładu normalnego wariancja średniej próbki jest mniejsza niż wariancja mediany próbki (przynajmniej dla dużej …

17 distributions median intuition mean efficiency

3

Pomysł i intuicja za quasi-maksymalnym oszacowaniem prawdopodobieństwa (QMLE)

Pytanie (pytania): Jaki jest pomysł i intuicja za quasi-maksymalnym oszacowaniem prawdopodobieństwa (QMLE; znany również jako pseudo maksymalne oszacowanie prawdopodobieństwa, PMLE)? Co sprawia, że estymator działa, gdy faktyczny rozkład błędów nie odpowiada założonemu rozkładowi błędów? Strona Wikipedii dla QMLE jest w porządku (krótki, intuicyjny, do punktu), ale mogę użyć trochę więcej …

17 maximum-likelihood references intuition quasi-likelihood

3

Intuicja za stopą hazardu

Jestem zdezorientowany co do równania, które służy jako definicja współczynnika ryzyka. Rozumiem, jaki jest współczynnik ryzyka, ale po prostu nie widzę, jak równanie wyraża tę intuicję. Jeśli jest zmienną losową, która reprezentuje moment śmierci kogoś w przedziale czasu . Zatem współczynnik ryzyka wynosi:[ 0 , T ]xxx[0,T][0,T][0,T] h(x)=f(x)1−F(x)h(x)=f(x)1−F(x)h(x)=\frac{f(x)}{1-F(x)} Gdzie oznacza …

16 survival intuition hazard

2

Dlaczego odchylenie standardowe jest definiowane jako sqrt wariancji, a nie jako sqrt sumy kwadratów nad N?

Dzisiaj uczyłem wstępnej klasy statystyki, a uczeń podszedł do mnie z pytaniem, które sformułowałem tutaj: „Dlaczego odchylenie standardowe jest zdefiniowane jako sqrt wariancji, a nie jako sqrt sumy kwadratów nad N?” Definiujemy wariancję populacji:σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} I standardowe odchylenie: .σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} Interpretacja możemy dać jest to, że daje średnie odchylenie jednostek w populacji …

16 variance standard-deviation intuition teaching

1

EM, czy istnieje intuicyjne wyjaśnienie?

Dla niewtajemniczonych procedura EM wydaje się mniej więcej czarną magią. Oszacuj parametry HMM (na przykład) przy użyciu nadzorowanych danych. Następnie zdekoduj nieoznaczone dane, używając „wstecz” do „zliczania” zdarzeń tak, jakby dane były oznaczone mniej więcej. Dlaczego to sprawia, że model jest lepszy? Wiem coś o matematyce, ale wciąż pragnę jakiegoś …

16 expectation-maximization intuition

2

Intuicja na temat estymacji parametrów w modelach mieszanych (parametry wariancji vs. tryby warunkowe)

Czytałem wiele razy, że efekty losowe (BLUP / tryby warunkowe dla, powiedzmy, badanych) nie są parametrami liniowego modelu efektów mieszanych, ale zamiast tego można je wyprowadzić z oszacowanych parametrów wariancji / kowariancji. Np. Reinhold Kliegl i in. (2011) stan: Efekty losowe to odchylenia badanych od średniej średniej RT i odchylenia …

15 mixed-model intuition blup

4

Jak rozwijać intuicję dla prawdopodobieństwa warunkowego?

W wykładach wideo z Harvard's Statistics 110: Prawdopodobieństwo, które można znaleźć na iTunes i YouTube, napotkałem ten problem. Próbowałem to podsumować tutaj: Załóżmy, że otrzymujemy losowy układ dwóch kart ze standardowej talii. Jakie jest prawdopodobieństwo, że obie karty są asami, biorąc pod uwagę, że mamy co najmniej jednego asa? P.( …

15 probability conditional-probability intuition

4

Typowa koncepcja zestawu

Pomyślałem, że koncepcja typowego zestawu jest dość intuicyjna: sekwencja długości należałaby do typowego zestawu jeśli prawdopodobieństwo wystąpienia sekwencji byłoby wysokie. Tak więc każda sekwencja, która prawdopodobnie byłaby w . (Unikam formalnej definicji związanej z entropią, ponieważ staram się ją zrozumieć jakościowo.)A ( n ) ϵ A ( n ) ϵnnnA(n)ϵAϵ(n)A_\epsilon …

15 entropy intuition information-theory

2

Zrozumienie obliczeń korelacji odległości

O ile rozumiem, korelacja odległości jest solidnym i uniwersalnym sposobem sprawdzenia, czy istnieje związek między dwiema zmiennymi numerycznymi. Na przykład, jeśli mamy zestaw par liczb: (x1, y1) (x2, y2) ... (xn, yn) możemy użyć korelacji odległości, aby sprawdzić, czy istnieje jakaś (niekoniecznie liniowa) zależność między dwiema zmiennymi ( xi y). …

15 correlation independence intuition distance-covariance

4

Działanie przypadku w deterministycznym świecie

Zauważa to w książce Stevena Pinkera Better Angels of Our Nature Prawdopodobieństwo jest kwestią perspektywy. Patrząc z wystarczająco bliskiego zasięgu, poszczególne zdarzenia mają określone przyczyny. Nawet rzut monetą można przewidzieć na podstawie warunków początkowych i praw fizyki, a wykwalifikowany mag może wykorzystać te prawa, aby za każdym razem rzucać głową. …

15 probability central-limit-theorem intuition

Pytania otagowane jako intuition