Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Dobre przykłady sekcji statystyki w stosowanych artykułach w czasopiśmie naukowym
Jestem biostatystą pracującym w dziedzinie stosowanej i jestem odpowiedzialny za napisanie sekcji metod statystycznych dla artykułów, nad którymi współpracuję. Czytając wiele artykułów akademickich, natknąłem się na wiele przykładów źle napisanych sekcji statystyk (przeważnie są one nudne, mało pouczające i brakuje im precyzji, szczegółów i zrozumienia stosowanej metodologii). Bez względu na …
2
Oceń tylny rozkład predykcyjny w regresji liniowej Bayesa
Jestem zdezorientowany, jak ocenić tylny rozkład predykcyjny dla regresji liniowej Bayesa, pomijając podstawowy przypadek opisany tutaj na stronie 3, i skopiowałem poniżej. p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y)p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y) p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y) Podstawowym przypadkiem jest ten model regresji liniowej: y=Xβ+ϵ,y∼N(Xβ,σ2)y=Xβ+ϵ,y∼N(Xβ,σ2) y = X \beta …
1
Niemal na pewno konwergencja nie oznacza pełnej konwergencji
Mówimy X1,X2,…X1,X2,…X_1, X_2, \ldots zbiegają się całkowicie do XXX jeśli dla każdego ϵ&gt;0ϵ&gt;0\epsilon>0 ∑∞n=1P(|Xn−X|&gt;ϵ)&lt;∞∑n=1∞P(|Xn−X|&gt;ϵ)&lt;∞\sum_{n=1}^\infty \text{P}\left(|X_n-X|>\epsilon\right) <\infty. Z lematem Borela Cantellego można łatwo udowodnić, że pełna zbieżność oznacza prawie pewną zbieżność. Szukam przykładu, na który prawie na pewno nie udało się udowodnić zbieżności z Borel Cantelli. Jest to sekwencja zmiennych losowych, …
1
Formuła do testowania Bayesian A / B nie ma żadnego sensu
Korzystam z formuły z testu ab Bayesian , aby obliczyć wyniki testu AB z wykorzystaniem metody Bayesa. Pr(pB&gt;pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA)Pr(pB&gt;pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA) \Pr(p_B > p_A) = \sum^{\alpha_B-1}_{i=0} \frac{B(\alpha_A+i,\beta_B+\beta_A)}{(\beta_B+i)B(1+i,\beta_B)B(\alpha_A, \beta_A)} gdzie αAαA\alpha_A w jednym plus liczba sukcesów dla A βAβA\beta_A w jednym plus liczba awarii dla A. αBαB\alpha_B w jednym plus liczba sukcesów dla B …
10 r  bayesian  ab-test 
2
Wdrożenie zagnieżdżonej weryfikacji krzyżowej
Próbuję dowiedzieć się, czy moje rozumienie zagnieżdżonej weryfikacji krzyżowej jest prawidłowe, dlatego napisałem ten zabawkowy przykład, aby sprawdzić, czy mam rację: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import load_boston # set random state state = 1 # load boston dataset …
3
Jak sklasyfikować niezrównoważony zestaw danych według Convolutional Neural Networks (CNN)?
Mam niezrównoważony zestaw danych w zadaniu klasyfikacji binarnej, w którym liczba dodatnia vs. liczba ujemna wynosi 0,3% w porównaniu z 99,7%. Różnica między pozytywami a negatywami jest ogromna. Kiedy trenuję CNN ze strukturą stosowaną w problemie MNIST, wynik testu pokazuje wysoką fałszywą ujemną częstość. Ponadto krzywa błędu treningu szybko spada …
1
Czym jest asymptotyczna macierz kowariancji?
Czy to prawda, że ​​asymptotyczna macierz kowariancji jest równa macierzy kowariancji oszacowań parametrów? Jeśli nie, co to jest? A jaka jest w tym przypadku różnica między macierzą kowariancji a asymptotyczną macierzą kowariancji? Z góry dziękuję!
2
Czy próbkowanie oparte na łańcuchu Markowa jest „najlepsze” dla próbkowania Monte Carlo? Czy są dostępne alternatywne programy?
Łańcuch Markowa Monte Carlo jest metodą opartą na łańcuchach Markowa, która pozwala nam uzyskać próbki (w ustawieniu Monte Carlo) z niestandardowych rozkładów, z których nie możemy bezpośrednio pobierać próbek. Moje pytanie brzmi: dlaczego sieć Markowa jest „najnowocześniejsza” do próbkowania Monte Carlo. Alternatywnym pytaniem może być: czy istnieją inne sposoby, takie …
1
Wystarczalność lub niewystarczalność
Rozważ losową próbkę gdzie są zmiennymi losowymi gdzie . Sprawdź, czy jest wystarczającą statystyką dla .{X1,X2),X3)}{X1,X2,X3}\{X_1,X_2,X_3\}XjaXiX_iB e r n o u l l i ( p )Bernoulli(p)Bernoulli(p)p ∈ ( 0 , 1 )p∈(0,1)p\in(0,1)T.( X) =X1+ 2X2)+X3)T(X)=X1+2X2+X3T(X)=X_1+2X_2+X_3ppp Po pierwsze, jak możemy znaleźć rozkład dla ? A może powinien być podzielony na …
2
Determinator macierzy informacji Fishera dla modelu nadparametryzowanego
Rozważ losową zmienną Bernoulliego X∈{0,1}X∈{0,1}X\in\{0,1\} z parametrem θθ\theta(prawdopodobieństwo sukcesu). Funkcja prawdopodobieństwa i informacje Fishera (a1×11×11 \times 1 macierz) to: L.1( θ ; X)ja1( θ )= p (X| θ ) =θX( 1 - θ)1 - X= detja1( θ ) =1θ ( 1 - θ )L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} …
3
Czy istnieją znormalizowane odpowiedniki Skośności i Kurtozy?
Jaki byłby znormalizowany odpowiednik Skośności, który miałby tę samą jednostkę co dane? Podobnie, jaki byłby znormalizowany odpowiednik Kurtozy? W idealnym przypadku funkcje te powinny być liniowe w stosunku do danych, co oznacza, że ​​gdyby wszystkie obserwacje zostały pomnożone przez czynnik n, powstałe znormalizowane skośność i kurtoza byłyby pomnożone przez ten …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.