Statystyki i duże zbiory danych

Od pierwszej klasy prawdopodobieństwa zastanawiałem się nad następującymi kwestiami. Obliczanie prawdopodobieństw zwykle wprowadza się poprzez stosunek „wydarzeń uprzywilejowanych” do wszystkich możliwych zdarzeń. W przypadku rzutu dwiema 6-stronnymi kostkami ilość możliwych zdarzeń wynosi , jak pokazano w poniższej tabeli.363636 1234561(1,1)(2,1)(3,1)(4,1)(5,1)(6,1)2(1,2)(2,2)(3,2)(4,2)(5,2)(6,2)3(1,3)(2,3)(3,3)(4,3)(5,3)(6,3)4(1,4)(2,4)(3,4)(4,4)(5,4)(6,4)5(1,5)(2,5)(3,5)(4,5)(5,5)(6,5)6(1,6)(2,6)(3,6)(4,6)(5,6)(6,6)1234561(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)2(2,1)(2,2)(2,3)(2,4)(2,5)(2,6)3)(3),1)(3),2))(3),3))(3),4)(3),5)(3),6)4(4,1)(4,2))(4,3))(4,4)(4,5)(4,6)5(5,1)(5,2))(5,3))(5,4)(5,5)(5,6)6(6,1)(6,2))(6,3))(6,4)(6,5)(6,6)\begin{array} {|c|c|c|c|c|c|c|} \hline &1 & 2 & 3 & 4 & 5 …

20 probability  dice 

Znam definicję macierzy symetrycznej dodatniej określonej (SPD), ale chcę zrozumieć więcej. Dlaczego są tak ważne, intuicyjnie? Oto co wiem. Co jeszcze? Dla danych danych macierzą współwariancji jest SPD. Macierz współwariancji jest ważnym miernikiem, zobacz ten doskonały post dla intuicyjnego wyjaśnienia. Forma kwadratowa 12x⊤Ax−b⊤x+c12x⊤Ax−b⊤x+c\frac 1 2 x^\top Ax-b^\top x +cjest wypukły, …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Wszyscy dobrze znamy dobrze udokumentowane w literaturze pojęcie, że optymalizacja LASSO (dla uproszczenia ogranicza tu uwagę na przypadek regresji liniowej) jest równoważny modelowi liniowemu z błędami Gaussa, w którym parametrom nadawany jest Laplace przed \ exp (- \ lambda \ | \ beta \ | _1) Wiemy również, że wyższy …

20 lasso  laplace-distribution 

Uczę sieci neuronowej (szczegóły nieważne), gdzie dane docelowe to wektor kątów (od 0 do 2 * pi). Szukam porady, jak zakodować te dane. Oto, co obecnie próbuję (z ograniczonym sukcesem): 1) Kodowanie 1-of-C: I bin ustawiam możliwe kąty na około 1000 dyskretnych kątów, a następnie wskazuję konkretny kąt, umieszczając 1 …

20 neural-networks  circular-statistics 

Nie mogę sprecyzować charakteru danych, ponieważ są one zastrzeżone, ale załóżmy, że mamy takie dane: Każdego miesiąca niektóre osoby zapisują się na usługi. Następnie w każdym kolejnym miesiącu osoby te mogą uaktualnić usługę, przerwać usługę lub odmówić usługi (np. Z powodu braku zapłaty). Dla najwcześniejszej kohorty w naszych danych mamy …

20 panel-data  splines  mars 

Biorę kurs Andrew Ng na Machine Learning poprzez Coursera . W przypadku równań zamiast indeksów dolnych stosuje się indeks górny. Na przykład w poniższym równaniu użyto zamiast : x ix(i)x(i)x^{(i)}xixix_i J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2} Najwyraźniej jest to powszechna praktyka. Moje pytanie brzmi: po co używać indeksów górnych …

20 machine-learning  notation 

Nie rozumiem dokładnie, co oznacza rozmiar węzła. Wiem, co to jest węzeł decyzyjny, ale nie wiem, jaki jest rozmiar węzła.

20 machine-learning  random-forest  bagging 

Zaskoczyło mnie to, kiedy po raz pierwszy przeprowadziłem symulację Monte Carlo z rozkładem normalnym i odkryłem, że średnia z standardowych odchyleń od próbek, z których każda ma wielkość próbki tylko , okazała się znacznie mniejsza niż, tj. uśrednianie razy, użyte do wygenerowania populacji. Jest to jednak dobrze znane, jeśli rzadko …

20 normal-distribution  standard-deviation  expected-value  unbiased-estimator  umvue 

W statystyce ekologicznej istnieje wiele technik analizy danych eksploracyjnych danych wielowymiarowych. Są to tak zwane techniki „święceń”. Wiele z nich jest takich samych lub ściśle powiązanych z powszechnymi technikami w innych miejscach statystyki. Być może prototypowym przykładem byłaby analiza głównych składników (PCA). Ekolodzy mogą użyć PCA i powiązanych technik, aby …

20 pca  eda  ecology  correspondence-analysis 

Mam sieć neuronową skonfigurowaną do przewidywania czegoś, gdzie zmienna wyjściowa jest porządkowa. Opiszę poniżej, używając trzech możliwych wyjść A <B <C. Jest całkiem oczywiste, jak używać sieci neuronowej do generowania danych kategorycznych: dane wyjściowe to tylko softmax ostatniej (zwykle w pełni połączonej) warstwy, jednej na kategorię, a przewidywana kategoria to …

20 neural-networks  ordinal-data  softmax 

Oglądałem wiele filmów instruktażowych i wyglądają tak samo. Ten na przykład: https://www.youtube.com/watch?v=ip4iSMRW5X4 Wyjaśniają stany, działania i prawdopodobieństwa, które są w porządku. Osoba wyjaśnia to dobrze, ale po prostu nie mogę zrozumieć, do czego byłaby używana w prawdziwym życiu. Do tej pory nie spotkałem żadnych list. Najbardziej powszechne, jakie widzę, to …

20 markov-process 

Czytam stamtąd, że błąd standardowy wariancji próbki jest SEs2=2σ4N−1−−−−−−√SEs2=2σ4N−1SE_{s^2} = \sqrt{\frac{2 \sigma^4}{N-1}} Jaki jest błąd standardowy odchylenia standardowego próbki? Kusiłbym się zgadnąć i powiedzieć, że ale nie jestem pewien.SEs=SEs2−−−−√SEs=SEs2SE_{s} = \sqrt{SE_{s^2}}

20 sampling  standard-deviation  standard-error 

Mam jedno pytanie dotyczące potrzeby korzystania z metod wyboru funkcji (losowe wartości ważności cech lasów lub metody wyboru cech Univariate itp.) Przed uruchomieniem algorytmu uczenia statystycznego. Wiemy, że aby uniknąć przeregulowania, możemy wprowadzić karę regularyzacyjną dla wektorów masy. Więc jeśli chcę zrobić regresję liniową, mógłbym wprowadzić parametry L2 lub L1, …

20 regression  machine-learning  feature-selection  lasso  regularization 

Paradoks Stein'a pokazuje, że gdy jednocześnie szacuje się trzy lub więcej parametrów, istnieją połączone estymatory średnio bardziej dokładne (to znaczy mające niższy oczekiwany średni błąd kwadratu) niż jakakolwiek metoda osobno obsługująca parametry. To bardzo sprzeczny z intuicją wynik. Czy ten sam wynik obowiązuje, jeśli zamiast stosowania normy (oczekiwany średni błąd …

20 paradox  steins-phenomenon 

Zobacz to pytanie na Math SE . Krótka historia: Przeczytałem Elementy uczenia statystycznego i denerwowałem się, gdy próbowałem zweryfikować niektóre wyniki, np. Biorąc pod uwagę a następnie RSS ( β) = ( y - X β)T.( y - X β) ,RSS(β)=(y-Xβ)T.(y-Xβ),\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,} Szukam macierzowego rachunku różniczkowego, który jest napisany …

20 references  matrix  matrix-calculus