Statystyki i duże zbiory danych

3

Po co rozkładać mianownik w twierdzeniu Bayesa?

(Jestem nowicjuszem w statystykach. Jestem matematykiem i programistą i staram się zbudować coś w rodzaju naiwnego bayesowskiego filtra antyspamowego). Zauważyłem w wielu miejscach, że ludzie mają tendencję do rozkładania mianownika w równaniu z twierdzenia Bayesa. Zamiast tego: P.( A | B ) ⋅ P( B )P.( A )P.(ZA|b)⋅P.(b)P.(ZA)\frac{P(A|B)\cdot P(B)}{P(A)} Przedstawiono …

23 bayesian

2

Jak działa wzmocnienie?

Jaki jest najłatwiejszy sposób na zrozumienie wzmocnienia? Dlaczego nie podnosi bardzo słabych klasyfikatorów „do nieskończoności” (doskonałość)?

23 machine-learning boosting

3

Znalezienie pliku PDF na podstawie CDF

Jak znaleźć plik PDF (funkcja gęstości prawdopodobieństwa) rozkładu, biorąc pod uwagę CDF (funkcja rozkładu skumulowanego)?

23 distributions pdf cdf

7

Szacowanie rozkładu na podstawie trzech percentyli

Jakich metod mogę użyć do wnioskowania o rozkładzie, jeśli znam tylko trzy percentyle? Na przykład wiem, że w pewnym zbiorze danych piąty percentyl wynosi 8,135, 50 percentyl to 11 259, a 95 percentyl to 23 611. Chcę móc przejść z dowolnej innej liczby do jej percentyla. To nie są moje …

23 r regression quantiles

2

Jak znaleźć wagi dla ważonej regresji metodą najmniejszych kwadratów?

Trochę zagubiłem się w procesie regresji WLS. Otrzymałem zestaw danych, a moim zadaniem jest sprawdzenie, czy istnieje heteroscedascityity, a jeśli tak, powinienem uruchomić regresję WLS. Przeprowadziłem test i znalazłem dowody na heteroscedascity, więc muszę uruchomić WLS. Powiedziano mi, że WLS jest w zasadzie regresją OLS modelu transformowanego, ale jestem nieco …

23 regression heteroscedasticity weighted-regression

4

Oszacowanie parametrów rozkładu t-Studenta

Jakie są estymatory największego prawdopodobieństwa dla parametrów rozkładu t Studenta? Czy istnieją w formie zamkniętej? Szybkie wyszukiwanie w Google nie dało mi żadnych wyników. Dzisiaj interesuje mnie przypadek jednowymiarowy, ale prawdopodobnie będę musiał rozszerzyć model na wiele wymiarów. EDYCJA: Właściwie najbardziej interesuje mnie lokalizacja i parametry skali. Na razie mogę …

23 estimation maximum-likelihood t-distribution

6

Radzenie sobie ze skorelowanymi regresorami

Jaka jest najlepsza strategia w wielokrotnej regresji liniowej z wysoce skorelowanymi regresorami? Czy uzasadnione jest dodanie produktu wszystkich skorelowanych regresorów?

23 regression multicollinearity

4

Kiedy mają zastosowanie wyniki Shao dotyczące krzyżowej walidacji z pominięciem jednego z nich?

W swoim artykule Linear Model Selection by Cross-Validation Jun Shao pokazuje, że w przypadku problemu selekcji zmiennych w wielowymiarowej regresji liniowej metoda walidacji krzyżowej z pominięciem jednego elementu (LOOCV) jest „asymptotycznie niespójna”. W prostym języku angielskim ma tendencję do wybierania modeli ze zbyt wieloma zmiennymi. W badaniu symulacyjnym Shao pokazuje, …

23 classification model-selection cross-validation

1

Co to znaczy z algebrą

Często w trakcie (własnego) badania statystyk spotkałem się z terminologią „ -algebra generowana przez zmienną losową”. Nie rozumiem definicji z Wikipedii , ale co najważniejsze, nie rozumiem za tym intuicji. Dlaczego / kiedy potrzebujemy algebry generowane przez zmienne losowe? Jakie jest ich znaczenie? Znam następujące:σ -σσ\sigmaσ-σ−\sigma- a -algebra na zbiorze …

23 probability random-variable sigma-algebra

3

Czy format obrazu (png, jpg, gif) wpływa na to, jak trenowana jest sieć neuronowa rozpoznawania obrazu?

Wiem, że wprowadzono wiele postępów w zakresie rozpoznawania obrazów, klasyfikacji obrazów itp. Z głębokimi, splotowymi sieciami neuronowymi. Ale jeśli trenuję sieć na przykład na obrazach PNG, czy będzie ona działać tylko dla obrazów tak zakodowanych? Jakie inne właściwości obrazu mają na to wpływ? (kanał alfa, przeplot, rozdzielczość itp.)

23 neural-networks deep-learning image-processing

3

Wystarczające statystyki dla laika

Czy ktoś może wyjaśnić wystarczające statystyki w bardzo podstawowych terminach? Pochodzę z inżynierii i przeszedłem wiele rzeczy, ale nie znalazłem intuicyjnego wyjaśnienia.

23 machine-learning mathematical-statistics intuition

4

Czy ktoś może wyjaśnić sprzężone priory w najprostszy możliwy sposób?

Od jakiegoś czasu staram się zrozumieć ideę sprzężonych priorów w statystyce bayesowskiej, ale po prostu nie rozumiem. Czy ktoś może wyjaśnić ten pomysł w najprostszy możliwy sposób, być może wykorzystując jako przykład „przeor Gaussa”?

23 bayesian conditional-probability conjugate-prior

2

Co to jest próbkowanie według ważności?

Próbuję nauczyć się uczenia wzmacniającego, a ten temat jest dla mnie bardzo mylący. Wprowadziłem wprowadzenie do statystyki, ale po prostu nie mogłem zrozumieć tego tematu intuicyjnie.

22 variance simulation monte-carlo unbiased-estimator importance-sampling

3

Jaki jest cel autokorelacji?

Dlaczego autokorelacja jest tak ważna? Zrozumiałem zasadę tego (tak sądzę ..), ale ponieważ istnieją też przykłady, w których nie dochodzi do autokorelacji, zastanawiam się: czy wszystko w naturze nie jest w jakiś sposób autokorelowane? Ostatni aspekt dotyczy bardziej ogólnego zrozumienia samej autokorelacji, ponieważ, jak wspomniałem, czy każdy stan we wszechświecie …

22 autocorrelation

1

Ile razy muszę rzucić kostką, aby pewnie ocenić jej rzetelność?

(Z góry przepraszamy za użycie języka świeckiego zamiast języka statystycznego). Jeśli chcę zmierzyć szanse na rzut każdej strony konkretnej fizycznej sześciościennej kostki do około +/- 2% z rozsądną pewnością, ile próbnych rzutów byłoby potrzebne? tj. ile razy musiałbym rzucić kostką, licząc każdy wynik, aby mieć 98% pewności, że szanse, że …

22 probability inference pdf dice