Statystyki i duże zbiory danych

Próbuję zrozumieć na głębszym poziomie wszechobecność prawdopodobieństwa logarytmicznego (a być może bardziej ogólnie log-prawdopodobieństwo) w statystyce i teorii prawdopodobieństwa. Log-prawdopodobieństwa pojawiają się wszędzie: zwykle pracujemy z prawdopodobieństwem log dla analizy (np. Dla maksymalizacji), informacja Fishera jest definiowana w kategoriach drugiej pochodnej prawdopodobieństwa log, entropia jest oczekiwanym prawdopodobieństwem log , Rozbieżność …

18 probability  bayesian  likelihood  log-likelihood 

Mam stąd dane o winie , które składają się z 11 liczbowych zmiennych niezależnych z zależną oceną związaną z każdym wpisem o wartościach od 0 do 10. To sprawia, że ​​jest to świetny zestaw danych, aby użyć modelu regresji do zbadania relacji między zmiennymi a powiązanymi ocena. Czy jednak regresja …

18 r  regression  logistic  ordered-logit 

W artykule DeepMind na temat Deep Q-Learning dla gier wideo Atari ( tutaj ) używają one chciwości epsilon do eksploracji podczas treningu. Oznacza to, że gdy akcja zostanie wybrana podczas treningu, zostanie wybrana albo jako akcja o najwyższej wartości q, albo akcja losowa. Wybór między tymi dwoma jest losowy i …

18 machine-learning  reinforcement-learning  q-learning  deep-rl 

Frank Harrell założył blog ( Statistics Thinking) . W swoim pierwszym poście wymienia niektóre kluczowe cechy swojej filozofii statystycznej. Między innymi obejmuje: Jeśli to możliwe, ustaw wielkość próbki jako zmienną losową Co to znaczy „uczynić wielkość próby zmienną losową”? Jakie są zalety tego? Dlaczego może to być lepsze?

18 sample-size  random-variable  regression-strategies 

Czy istnieje założenie dotyczące zmiennej odpowiedzi regresji logistycznej? Załóżmy na przykład, że mamy punktów danych. Wygląda na to, że odpowiedź pochodzi z dystrybucji Bernoulliego z . Dlatego powinniśmy mieć rozkładów Bernoulliego z innym parametrem .100010001000YiYiY_ipi=logit(β0+β1xi)pi=logit(β0+β1xi)p_i=\text{logit}(\beta_0+\beta_1 x_i)100010001000ppp Są więc „niezależni”, ale nie są „identyczni”. Czy mam rację? PS. Nauczyłem się regresji …

18 regression  logistic  assumptions  iid 

Jak najłatwiej sprawdzić, czy poniższe stwierdzenie jest prawdziwe? Załóżmy że . Pokaż .Y1,…,Yn∼iidExp(1)Y1,…,Yn∼iidExp(1)Y_1, \dots, Y_n \overset{\text{iid}}{\sim} \text{Exp}(1)∑ni=1(Yi−Y(1))∼Gamma(n−1,1)∑i=1n(Yi−Y(1))∼Gamma(n−1,1)\sum_{i=1}^{n}(Y_i - Y_{(1)}) \sim \text{Gamma}(n-1, 1) Zauważ, że .Y(1)=min1≤i≤nYiY(1)=min1≤i≤nYiY_{(1)} = \min\limits_{1 \leq i \leq n}Y_i Przez X∼Exp(β)X∼Exp(β)X \sim \text{Exp}(\beta) oznacza to, że fX(x)=1βe−x/β⋅1{x>0}fX(x)=1βe−x/β⋅1{x>0}f_{X}(x) = \dfrac{1}{\beta}e^{-x/\beta} \cdot \mathbf{1}_{\{x > 0\}} . Łatwo zauważyć, że Y(1)∼Exponential(1/n)Y(1)∼Exponential(1/n)Y_{(1)} …

18 self-study  distributions  exponential  order-statistics  jacobian 

Dystrybucja beta pojawia się w dwóch parametryzacjach (lub tutaj ) f(x)∝xα(1−x)β(1)(1)f(x)∝xα(1−x)β f(x) \propto x^{\alpha} (1-x)^{\beta} \tag{1} lub ten, który wydaje się być używany częściej f(x)∝xα−1(1−x)β−1(2)(2)f(x)∝xα−1(1−x)β−1 f(x) \propto x^{\alpha-1} (1-x)^{\beta-1} \tag{2} Ale dlaczego dokładnie jest „ ” w drugiej formule?−1−1-1 Pierwsze sformułowanie wydaje się intuicyjnie bardziej bezpośrednio odpowiadać rozkładowi dwumianowemu g(k)∝pk(1−p)n−k(3)(3)g(k)∝pk(1−p)n−k …

18 distributions  references  beta-distribution  history  beta-binomial 

Studiowałem matematykę dziesięć lat temu, więc mam doświadczenie matematyczne i statystyczne, ale to pytanie mnie zabija. To pytanie jest dla mnie trochę filozoficzne. Dlaczego statystycy opracowali wszelkiego rodzaju techniki do pracy z przypadkowymi macierzami? To znaczy, czy losowy wektor nie rozwiązał problemu? Jeśli nie, jaka jest średnia z różnych kolumn …

18 distributions  mathematical-statistics  random-variable  random-matrix 

Zastanawiam się tylko, czy statystyki bayesowskie byłyby konsekwentnie stosowane od pierwszego badania do ostatniego, jeśli to sprawia, że ​​metaanaliza staje się przestarzała. Na przykład załóżmy 20 badań, które zostały wykonane w różnych punktach czasowych. Oszacowania lub dystrybucji pierwszego badania dokonano z nieinformacyjnym wyprzedzeniem . Drugie badanie wykorzystuje wcześniejszy rozkład tylny. …

18 bayesian  meta-analysis 

Jeśli ma pełną pozycję, istnieje odwrotność i otrzymujemy oszacowanie najmniejszych kwadratów: iXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Jak intuicyjnie wyjaśnić we wzorze wariancji? Technika wyprowadzania jest dla mnie jasna.(XTX)−1(XTX)−1(X^TX)^{-1}

18 regression  variance  least-squares 

Zamknięte . To pytanie jest oparte na opiniach . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby można było na nie odpowiedzieć faktami i cytatami, edytując ten post . Zamknięte 2 lata temu . Jakie jest Twoje zdanie na temat nadpróbkowania w klasyfikacji ogólnie, aw szczególności algorytmu …

18 machine-learning  classification  oversampling 

Czy to prawda, że dla dwóch zmiennych losowych i ,B.AAABBB E(A∣B)=E(B∣A)E(A)E(B)?E(A∣B)=E(B∣A)E(A)E(B)?E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?

18 bayesian  mathematical-statistics 

Próbuję zrozumieć matematyczne znaczenie nieliniowych modeli klasyfikacji: Właśnie przeczytałem artykuł mówiący o sieciach neuronowych będących nieliniowym modelem klasyfikacji. Ale zdaję sobie sprawę, że: Pierwsza warstwa: h1=x1∗wx1h1+x2∗wx1h2h1=x1∗wx1h1+x2∗wx1h2h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2} h2=x1∗wx2h1+x2∗wx2h2h2=x1∗wx2h1+x2∗wx2h2h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2} Kolejna warstwa y=b∗wby+h1∗wh1y+h2∗wh2yy=b∗wby+h1∗wh1y+h2∗wh2yy=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y} Można to uprościć =b'+(x1∗wx1h1+x2∗wx1h2)∗wh1y+(x1∗wx2h1+x2∗wx2h2)∗wh2y=b′+(x1∗wx1h1+x2∗wx1h2)∗wh1y+(x1∗wx2h1+x2∗wx2h2)∗wh2y=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y} = b ' + x1( wh 1 rok∗ wx 1 godz. 1+ wx 2 godz. 1∗ …

18 neural-networks  nonlinear-regression  nonlinear 

Spędzam trochę czasu ucząc się uczenia maszynowego (przepraszam za rekurencję :) i nie mogłem zaintrygować się regułą wyboru Gradient Descent zamiast bezpośredniego rozwiązywania równań dla obliczania współczynników regresji, w przypadku wielowymiarowej regresji liniowej. Ogólna zasada: jeśli liczba funkcji (współczynniki odczytu / zmienne niezależne) wynosi od lub powyżej miliona, przejdź do …

18 machine-learning  multiple-regression  large-data 

Na tej stronie psychometrii przeczytałem to [A] Ta wariancja głębokiego poziomu jest bardziej fundamentalną koncepcją niż odchylenie standardowe. Witryna tak naprawdę nie wyjaśnia dalej, dlaczego wariancja ma być bardziej fundamentalna niż standardowe odchylenie, ale przypomniała mi, że przeczytałem kilka podobnych rzeczy na tej stronie. Na przykład w tym komentarzu @ …

18 variance  standard-deviation