Statystyki i duże zbiory danych

27

Sytuacja Niektórzy badacze chcieliby cię uśpić. W zależności od tajnego rzutu uczciwej monety obudzą cię na krótko raz (Heads) lub dwukrotnie (Tails). Po każdym przebudzeniu uśpią cię z lekiem, który sprawi, że zapomnisz o przebudzeniu. Kiedy budzi się, do jakiego stopnia należy Ci uwierzyć, że wynik rzutu monetą był Heads? …

133 decision-theory paradox

4

Kappa Cohena w prostym angielskim

Czytam książkę do eksploracji danych, w której wspomniano o statystyce Kappa jako sposobie oceny wydajności prognozowania klasyfikatorów. Jednak po prostu nie mogę tego zrozumieć. Sprawdziłem także Wikipedię, ale to też nie pomogło: https://en.wikipedia.org/wiki/Cohen's_kappa . W jaki sposób kappa Cohena pomaga w ocenie wydajności prognozowania klasyfikatorów? Co to mówi? Rozumiem, że …

131 classification data-mining cohens-kappa

8

Dlaczego metoda Newtona nie jest szeroko stosowana w uczeniu maszynowym?

To mnie denerwuje od jakiegoś czasu i nie mogłem znaleźć satysfakcjonujących odpowiedzi online, więc oto: Po przejrzeniu zestawu wykładów na temat optymalizacji wypukłej metoda Newtona wydaje się znacznie lepszym algorytmem niż zejście gradientu do znajdowania globalnie optymalnych rozwiązań, ponieważ metoda Newtona może zapewnić gwarancję rozwiązania, jest niezmienna afiniczna, a przede …

131 machine-learning optimization gradient-descent hessian

14

Czy duże zestawy danych są nieodpowiednie do testowania hipotez?

W ostatnim artykule z Amstat Nowiny , autorzy (Mark van der Laan i Sherri ROSE) stwierdził, że: „Wiemy, że dla dostatecznie dużych rozmiarach próbki, co study-włączając te, w których hipoteza zerowa nie efekt jest prawdziwe - będzie zadeklarować statystycznie istotny efekt. ”. Cóż, ja nie wiedziałem o tym. Czy to …

129 hypothesis-testing sample-size dataset large-data

6

Jaka jest różnica między wariancją a odchyleniem standardowym?

Zastanawiałem się, jaka jest różnica między wariancją a odchyleniem standardowym. Jeśli obliczysz te dwie wartości, jasne jest, że odchylenie standardowe wynika z wariancji, ale co to oznacza w kategoriach obserwowanego rozkładu? Ponadto, dlaczego tak naprawdę potrzebujesz standardowego odchylenia?

127 variance mathematical-statistics standard-deviation

9

Od dołu do góry wyjaśnienie odległości Mahalanobisa?

Studiuję rozpoznawanie wzorców i statystyki i prawie każdą książkę, którą otwieram na ten temat, wpadam na pojęcie odległości Mahalanobisa . Książki zawierają intuicyjne wyjaśnienia, ale wciąż nie są wystarczająco dobre, aby naprawdę zrozumieć, co się dzieje. Gdyby ktoś zapytał mnie: „Jaka jest odległość Mahalanobisa?” Mogłem tylko odpowiedzieć: „To miła rzecz, …

127 normal-distribution mathematical-statistics distance pattern-recognition intuition

9

Pozyskiwanie wiedzy z przypadkowego lasu

Losowe lasy są uważane za czarne skrzynki, ale ostatnio zastanawiałem się, jaką wiedzę można uzyskać z losowego lasu? Najbardziej oczywistą rzeczą jest znaczenie zmiennych, w najprostszym wariancie można to zrobić po prostu przez obliczenie liczby wystąpień zmiennej. Drugą rzeczą, o której myślałem, były interakcje. Myślę, że jeśli liczba drzew jest …

127 machine-learning data-mining interaction random-forest cart

3

Jaka jest różnica między spójnym estymatorem a obiektywnym estymatorem?

Jestem naprawdę zaskoczony, że wydaje się, że nikt już o to nie pytał ... Podczas omawiania estymatorów dwa często używane terminy są „spójne” i „obiektywne”. Moje pytanie jest proste: jaka jest różnica? Dokładne techniczne definicje tych terminów są dość skomplikowane i trudno jest zrozumieć ich znaczenie . Mogę sobie wyobrazić …

125 unbiased-estimator estimators consistency

3

Pomóż mi zrozumieć wcześniejsze i późniejsze rozkłady bayesowskie

W grupie studentów są 2 z 18 osób leworęcznych. Znajdź rozkład tylny studentów leworęcznych w populacji, zakładając, że uprzedni nieinformacyjny. Podsumuj wyniki. Według literatury 5-20% osób jest leworęcznych. Uwzględnij te informacje w swoim poprzednim i oblicz nowy nowy z tyłu. Wiem, że należy tutaj użyć wersji beta . Po pierwsze, …

124 distributions bayesian prior posterior

6

Korelacje z nieuporządkowanymi zmiennymi kategorialnymi

Mam ramkę danych z wieloma obserwacjami i wieloma zmiennymi. Niektóre z nich są kategoryczne (nieuporządkowane), a inne są numeryczne. Szukam skojarzeń między tymi zmiennymi. Byłem w stanie obliczyć korelację dla zmiennych numerycznych (korelacja Spearmana), ale: Nie wiem, jak zmierzyć korelację między nieuporządkowanymi zmiennymi kategorialnymi. Nie wiem, jak zmierzyć korelację między …

123 r correlation categorical-data continuous-data mixed-type-data

4

Jaka jest różnica między splotowymi sieciami neuronowymi, ograniczonymi maszynami Boltzmanna i auto-koderami?

Ostatnio czytałem o głębokim uczeniu się i jestem zdezorientowany terminami (lub powiedzmy technologiami). Jaka jest różnica pomiędzy Konwolucyjne sieci neuronowe (CNN), Ograniczone maszyny Boltzmann (RBM) i Auto-enkodery?

123 neural-networks deep-learning conv-neural-network autoencoders rbm

3

Jaka jest różnica między regresją liniową a regresją logistyczną?

Jaka jest różnica między regresją liniową a regresją logistyczną? Kiedy z nich skorzystasz?

122 regression logistic linear-model

3

Dlaczego potrzebujemy sigma-algebr do definiowania przestrzeni prawdopodobieństwa?

Mamy losowy eksperyment z różnymi wynikami tworzących próbkę kosmicznego Ω,Ω,\Omega, na które patrzymy z zainteresowaniem w niektórych wzorów, zwany wydarzenia F.F.\mathscr{F}. Algebry Sigma (lub pola sigma) składają się ze zdarzeń, do których można przypisać miarę prawdopodobieństwa PP\mathbb{P}Pewne właściwości są spełnione, w tym włączenie zbioru zerowego ∅∅\varnothing i całej przestrzeni próbki …

122 probability intuition measure-theory sigma-algebra

21

Na każdym etapie ograniczającego nieskończonego procesu umieść 10 kulek w urnie i wyjmij jedną losowo. Ile pozostało piłek?

Pytanie (nieco zmodyfikowane) brzmi następująco i jeśli nigdy go nie spotkałeś, możesz to sprawdzić w przykładzie 6a, rozdział 2, Pierwszego kursu prawdopodobieństwa Sheldona Rossa : Załóżmy, że mamy nieskończenie dużą urnę i nieskończoną kolekcję piłek oznaczonych piłką numer 1, numer 2, numer 3 i tak dalej. Rozważ eksperyment przeprowadzony w …

121 probability paradox

5

Jak wybrać korelację Pearsona i Spearmana?

Skąd mam wiedzieć, kiedy należy wybrać pomiędzy Spearmana i Pearsona ? Moja zmienna obejmuje satysfakcję, a wyniki zostały zinterpretowane na podstawie sumy wyników. Te wyniki można jednak również uszeregować.rρρ\rhorrr

119 correlation pearson-r spearman-rho