Statystyki i duże zbiory danych

2

Wybór właściwej metody łączenia dla hierarchicznego grupowania

Wykonuję hierarchiczne grupowanie danych zebranych i przetworzonych ze zrzutu danych reddit w Google BigQuery. Mój proces jest następujący: Pobierz najnowsze 1000 postów w / r / politics Zbierz wszystkie komentarze Przetwarzaj dane i oblicz n x mmacierz danych (n: users / samples, m: posts / features) Oblicz macierz odległości dla …

33 clustering distance unsupervised-learning hierarchical-clustering

2

Jak przeprowadzasz ładowanie z danymi szeregów czasowych?

Ostatnio dowiedziałem się o stosowaniu technik ładowania początkowego do obliczania standardowych błędów i przedziałów ufności dla estymatorów. Nauczyłem się, że jeśli dane są IID, możesz traktować dane przykładowe jako populację i wykonywać próbkowanie z wymianą, co pozwoli ci uzyskać wiele symulacji statystyki testowej. W przypadku szeregów czasowych wyraźnie nie możesz …

33 time-series bootstrap

7

Co to jest normalność?

W wielu różnych metodach statystycznych istnieje „założenie normalności”. Co to jest „normalność” i skąd mam wiedzieć, czy istnieje normalność?

33 distributions normality-assumption

10

Dlaczego suma dwóch zmiennych losowych jest splotem?

Przez długi czas nie rozumieć, dlaczego „suma” dwóch zmiennych losowych jest ich uwypuklony , natomiast suma funkcji gęstości mieszaniny f(x)f(x)f(x) i g(x)g(x)g(x) jest pf(x)+(1−p)g(x)pf(x)+(1−p)g(x)p\,f(x)+(1-p)g(x); suma arytmetyczna, a nie ich splot. Dokładna fraza „suma dwóch zmiennych losowych” pojawia się w Google 146 000 razy i jest eliptyczna w następujący sposób. Jeśli …

33 pdf terminology cdf mixture convolution

7

Jak interpretować współczynnik zmienności?

Próbuję zrozumieć współczynnik zmienności . Kiedy próbuję zastosować go do następujących dwóch próbek danych, nie jestem w stanie zrozumieć, jak interpretować wyniki. Powiedzmy, że próbka 1 to a próbka 2 to {10, 15, 17, 22, 21, 27} . Tutaj próbka 2 = próbka 1 + \ 10, jak widać.0 , …

33 descriptive-statistics coefficient-of-variation

1

Jeśli wygeneruję losową macierz symetryczną, jaka jest szansa, że jest ona dodatnia?

Mam dziwne pytanie, kiedy eksperymentowałem z wypukłymi optymalizacjami. Pytanie brzmi: Załóżmy, że losowo (powiedzmy standardowy rozkład normalny) generuję macierz symetryczną (na przykład generuję górną macierz trójkątną i wypełniam dolną połowę, aby upewnić się, że jest symetryczna), jaka jest szansa, że jest to wartość dodatnia określona matryca? Czy w ogóle można …

32 probability matrix random-generation eigenvalues random-matrix

3

Dlaczego podstawowe testowanie hipotez koncentruje się na średniej, a nie na środkowej?

Na podstawowych kursach statystyki poniżej stopnia uczniowie (zwykle?) Uczą się testowania hipotez dla średniej populacji. Dlaczego skupia się na średniej, a nie na środkowej? Domyślam się, że łatwiej jest przetestować średnią ze względu na centralne twierdzenie graniczne, ale chciałbym przeczytać kilka wykształconych wyjaśnień.

32 hypothesis-testing mean inference median

2

Czy Jürgen Schmidhuber wprowadził generatywne sieci przeciwników?

Czytam na https://en.wikipedia.org/wiki/Generative_adversarial_networks : [Generatywne sieci przeciwników] zostały wprowadzone przez Iana Goodfellow i in. W 2014 r. ale Jurgen Schmidhuber twierdzi, że wcześniej wykonał podobną pracę w tym kierunku (np. podczas NIPS 2016 odbyła się debata podczas samouczka generatywnych sieci przeciwników: https://channel9.msdn.com/Events/Neural-Information-Processing-Systems- Konferencja / Neural-Information-Processing-Systems-Conference-NIPS-2016 / Generative-Adversarial-Networks patrz 1h03min). Czy …

32 neural-networks history gan

3

Dlaczego znajdowanie małych efektów w dużych badaniach wskazuje na stronniczość publikacji?

Kilka prac metodologicznych (np. Egger i in. 1997a, 1997b) omawia stronniczość publikacji ujawnioną w metaanalizach, wykorzystując wykresy lejkowe, takie jak ta poniżej. Artykuł z 1997b mówi dalej, że „jeśli obecne jest stronniczość publikacji, oczekuje się, że spośród opublikowanych badań największe z nich wykażą najmniejsze efekty”. Ale dlaczego tak jest? Wydaje …

32 meta-analysis publication-bias

5

Dlaczego niektóre osoby używają -999 lub -9999 do zastąpienia brakujących wartości?

Mam zestaw danych. Brakuje wielu wartości. W przypadku niektórych kolumn brakującą wartość zastąpiono wartością -999, ale w innych kolumnach brakującą wartość oznaczono jako „NA”. Dlaczego użyjemy -999, aby zastąpić brakującą wartość?

32 missing-data

8

Czy powinienem najpierw uczyć statystyki bayesowskiej czy częstokrzyskiej?

Pomagam moim chłopcom, obecnie w szkole średniej, w zrozumieniu statystyk i zastanawiam się nad kilkoma prostymi przykładami, nie zapominając o przebłyskach teorii. Moim celem byłoby zaproponowanie im najbardziej intuicyjnego, ale instrumentalnie konstruktywnego podejścia do nauki statystyk od zera, aby wzbudzić ich zainteresowanie dalszą nauką statystyki i nauką ilościową. Zanim jednak …

32 probability hypothesis-testing bayesian frequentist teaching

2

Co mówi nam entropia?

Czytam o entropii i trudno mi zrozumieć, co to znaczy w ciągłym przypadku. Strona wiki zawiera następujące informacje: Rozkład prawdopodobieństwa zdarzeń w połączeniu z ilością informacji każdego zdarzenia tworzy zmienną losową, której oczekiwaną wartością jest średnia ilość informacji lub entropia wygenerowana przez ten rozkład. Więc jeśli obliczę entropię związaną z …

32 entropy

6

Czy istnieją przykłady, w których nie obowiązuje twierdzenie o limicie centralnym?

Wikipedia mówi - W teorii prawdopodobieństwa centralne twierdzenie graniczne (CLT) ustala, że w większości sytuacji , gdy dodaje się niezależne zmienne losowe, ich odpowiednio znormalizowana suma zmierza w kierunku rozkładu normalnego (nieformalnie „krzywej dzwonowej”), nawet jeśli same zmienne pierwotne nie są normalnie dystrybuowane ... Kiedy mówi „w większości sytuacji”, w …

32 probability mathematical-statistics normal-distribution central-limit-theorem

4

Po co stosować regularyzację w regresji wielomianowej zamiast obniżać stopień?

Na przykład podczas regresji, dwoma hiperparametrami do wyboru są często pojemność funkcji (np. Największy wykładnik wielomianu) i ilość regularyzacji. Jestem zdezorientowany, dlaczego nie po prostu wybrać funkcję niskiej pojemności, a następnie zignorować jakąkolwiek regularyzację? W ten sposób nie będzie pasował. Jeśli mam funkcję dużej pojemności wraz z regularyzacją, czy to …

32 regression machine-learning optimization regularization polynomial

2

Czy wysoce skorelowane zmienne w losowym lesie nie zniekształcają dokładności i wyboru cech?

W moim rozumieniu wysoce skorelowane zmienne nie spowodują problemów z wieloma kolinearnością w losowym modelu lasu (proszę mnie poprawić, jeśli się mylę). Jednak z drugiej strony, jeśli mam zbyt wiele zmiennych zawierających podobne informacje, czy model będzie ważył za dużo na tym zestawie, a nie na innych? Na przykład istnieją …

32 random-forest multicollinearity ensemble