Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

3
Zrozumienie Naive Bayes
Ze StatSoft, Inc. (2013), Electronic Statistics Textbook , „Naive Bayes Classifier” : Aby zademonstrować koncepcję klasyfikacji Naiwego Bayesa, rozważ przykład pokazany na powyższej ilustracji. Jak wskazano, obiekty można zaklasyfikować jako ZIELONE lub CZERWONE. Moim zadaniem jest klasyfikowanie nowych przypadków po ich przybyciu, tj. Decydowanie, do której etykiety klasy należą, na …
5
Jeśli test t i ANOVA dla dwóch grup są równoważne, dlaczego ich założenia nie są równoważne?
Jestem pewien, że mam to całkowicie owinięte wokół głowy, ale nie mogę tego rozgryźć. Test t porównuje dwa rozkłady normalne przy użyciu rozkładu Z. Dlatego w DANYCH założono normalność. ANOVA jest równoważna regresji liniowej ze zmiennymi fikcyjnymi i wykorzystuje sumy kwadratów, podobnie jak OLS. Dlatego istnieje założenie o normalności RESIDUALS. …
5
Wnioskowanie statystyczne, gdy próbka „jest” populacją
Wyobraź sobie, że musisz sporządzać raporty dotyczące liczby kandydatów, którzy co roku przystępują do danego testu. Wydaje się raczej trudno wnioskować o obserwowanym% sukcesu, na przykład w odniesieniu do szerszej populacji ze względu na specyfikę populacji docelowej. Możesz więc wziąć pod uwagę, że dane te reprezentują całą populację. Czy wyniki …
4
Dlaczego minimalizujemy prawdopodobieństwo ujemne, jeśli jest ono równoważne z maksymalizacją prawdopodobieństwa?
To pytanie zastanawiało mnie od dawna. Rozumiem użycie „logu” w celu maksymalizacji prawdopodobieństwa, więc nie pytam o „log”. Moje pytanie brzmi: skoro maksymalizacja prawdopodobieństwa dziennika jest równoważna z minimalizacją „negatywnego prawdopodobieństwa dziennika” (NLL), dlaczego wymyśliliśmy tę NLL? Dlaczego nie wykorzystujemy „pozytywnego prawdopodobieństwa” przez cały czas? W jakich okolicznościach preferowane jest …
2
Dlaczego Konwolucyjne sieci neuronowe nie używają maszyny wektorów wsparcia do klasyfikacji?
W ostatnich latach Konwolucyjne sieci neuronowe (CNN) stały się najnowocześniejszymi urządzeniami do rozpoznawania obiektów w wizji komputerowej. Zazwyczaj CNN składa się z kilku warstw splotowych, po których następują dwie w pełni połączone warstwy. Za intuicją kryje się to, że warstwy splotowe uczą się lepszej reprezentacji danych wejściowych, a następnie w …
6
Czy reszty są „przewidywane minus rzeczywiste” lub „rzeczywiste minus prognozowane”
Widziałem „reszty” zdefiniowane na różne sposoby jako „przewidywane minus rzeczywiste wartości” lub „rzeczywiste minus przewidywane wartości”. W celach ilustracyjnych, aby pokazać, że obie formuły są szeroko stosowane, porównaj następujące wyszukiwania w Internecie: resztkowe „przewidywane minus rzeczywiste” pozostałe „rzeczywiste minus przewidywane” W praktyce prawie nigdy nie robi to różnicy, ponieważ znak …
2
Dlaczego częste testowanie hipotez staje się tendencyjne do odrzucenia hipotezy zerowej przy wystarczająco dużych próbkach?
Właśnie natknąłem się na ten artykuł o czynniku Bayesa na zupełnie niezwiązany problem, kiedy natknąłem się na ten fragment Testowanie hipotez z czynnikami Bayesa jest bardziej niezawodne niż testowanie częstych hipotez, ponieważ forma Bayesa unika stronniczości wyboru modelu, ocenia dowody na korzyść hipotezy zerowej, obejmuje niepewność modelu i pozwala na …
2
Dlaczego Bayesjanin nie może patrzeć na pozostałości?
W artykule „Dyskusja: Czy ekolodzy powinni zostać Bayesianami?” Brian Dennis przedstawia zaskakująco zrównoważony i pozytywny pogląd na statystyki bayesowskie, kiedy wydaje się, że jego celem jest ostrzeganie ludzi przed tym. Jednak w jednym akapicie, bez żadnych cytatów ani uzasadnień, mówi: Widzisz, Bayesianie nie mogą patrzeć na swoje pozostałości. Naruszenie zasady …
2
Co mówi odwrotność macierzy kowariancji o danych? (Intuicyjnie)
Jestem ciekawy natury Σ−1Σ−1\Sigma^{-1} . Czy ktoś może powiedzieć coś intuicyjnego na temat „Co Σ−1Σ−1\Sigma^{-1} mówi o danych?” Edytować: Dziękuję za odpowiedzi Po wzięciu świetnych kursów chciałbym dodać kilka punktów: Jest to miara informacji, tj. to ilość informacji wzdłuż kierunku x .xTΣ−1xxTΣ−1xx^T\Sigma^{-1}xxxx Dwoistość: Od jest dodatnio określona, więc jest Σ …
3
Model liniowy z odpowiedzią przekształconą logarytmicznie a uogólniony model liniowy z łączem logarytmicznym
W artykule zatytułowanym „WYBÓR WŚRÓD OGÓLNYCH MODELI LINIOWYCH STOSOWANYCH DO DANYCH MEDYCZNYCH” autorzy piszą: W uogólnionym modelu liniowym średnia jest przekształcana przez funkcję link, zamiast przekształcać samą odpowiedź. Dwie metody transformacji mogą prowadzić do zupełnie różnych wyników; na przykład średnia odpowiedzi transformowanych logarytmicznie nie jest taka sama jak logarytm średniej …
3
Jaka intuicja kryje się za warunkowymi rozkładami Gaussa?
Załóżmy, że X ∼ N2)( μ , Σ )X∼N2(μ,Σ)\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma}) . Następnie rozkład warunkowy X1X1X_1 biorąc pod uwagę, że X2)= x2)X2=x2X_2 = x_2 jest rozkładem wielowymiarowym normalnie rozkładanym ze średnią: mi[ P( X1| X2)= x2)) ] = μ1+ σ12σ22( x2)- μ2))E[P(X1|X2=x2)]=μ1+σ12σ22(x2−μ2) E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2) …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.