Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

4
Krzyżowa walidacja i dostrajanie parametrów
Czy ktoś może mi powiedzieć, co dokładnie daje wynik analizy krzyżowej? Czy to tylko średnia dokładność, czy daje jakiś model z dostrojonymi parametrami? Ponieważ słyszałem gdzieś, że do dostrajania parametrów używana jest walidacja krzyżowa.
1
Jak sprawdzić istotność statystyczną zmiennej jakościowej w regresji liniowej?
Jeśli w regresji liniowej mam zmienną kategorialną ... skąd mam poznać stastyczne znaczenie zmiennej kategorialnej? Powiedzmy, że współczynnik ma 10 poziomów ... będzie 10 różnych wynikowych wartości t, pod parasolem jednej zmiennej czynnikowej ...X1X1X_1X1X1X_1 Wydaje mi się, że istotność statystyczna jest testowana dla każdego poziomu zmiennej czynnikowej? Nie? @Macro: Zgodnie …
3
Czy budowanie klasyfikatora wieloklasowego jest lepsze niż kilka binarnych?
Muszę podzielić adresy URL na kategorie. Powiedzmy, że mam 15 kategorii, do których planuję wyzerować każdy adres URL. Czy 15-drożny klasyfikator jest lepszy? Gdzie mam 15 etykiet i generuję funkcje dla każdego punktu danych. Lub budowanie 15 binarnych klasyfikatorów, powiedzmy: film lub nie-film, i użyj liczb, które otrzymuję z tych …
1
Wieloczynnikowy normalny tylny
To bardzo proste pytanie, ale nie mogę znaleźć pochodnej nigdzie w Internecie ani w książce. Chciałbym zobaczyć pochodną tego, jak jeden Bayesian aktualizuje wielowymiarowy rozkład normalny. Na przykład: wyobraź sobie to P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf …
1
MLE vs najmniejsze kwadraty w dopasowywanych rozkładach prawdopodobieństwa
Mam wrażenie, że na podstawie kilku artykułów, książek i artykułów, które przeczytałem, zalecanym sposobem dopasowania rozkładu prawdopodobieństwa na zbiorze danych jest oszacowanie maksymalnego prawdopodobieństwa (MLE). Jednak jako fizyk bardziej intuicyjny sposób polega na dopasowaniu pdf modelu do empirycznego pdf danych przy użyciu najmniejszych kwadratów. Dlaczego zatem MLE jest lepszy od …
2
Najlepszy sposób na wykonanie wieloklasowej SVM
Wiem, że SVM jest klasyfikatorem binarnym. Chciałbym rozszerzyć go na SVM klasy. Jaki jest najlepszy, a może najłatwiejszy sposób na jego wykonanie? kod: w MATLAB u=unique(TrainLabel); N=length(u); if(N>2) itr=1; classes=0; while((classes~=1)&&(itr<=length(u))) c1=(TrainLabel==u(itr)); newClass=double(c1); tst = double((TestLabel == itr)); model = svmtrain(newClass, TrainVec, '-c 1 -g 0.00154'); [predict_label, accuracy, dec_values] = …
2
Jak interpretować współczynniki z regresji logistycznej?
Mam następującą funkcję prawdopodobieństwa: Prob=11+e−zProb=11+e−z\text{Prob} = \frac{1}{1 + e^{-z}} gdzie z=B0+B1X1+⋯+BnXn.z=B0+B1X1+⋯+BnXn.z = B_0 + B_1X_1 + \dots + B_nX_n. Mój model wygląda Pr(Y=1)=11+exp(−[−3.92+0.014×(gender)])Pr(Y=1)=11+exp⁡(−[−3.92+0.014×(gender)])\Pr(Y=1) = \frac{1}{1 + \exp\left(-[-3.92 + 0.014\times(\text{gender})]\right)} Rozumiem, co oznacza przecięcie (3.92), ale teraz jestem pewien, jak interpretować 0.014. Czy nadal są to logarytmiczne szanse, nieparzyste stosunki, czy …
1
Jak działa test chi-kwadrat Pearsona
Po ostatnim głosowaniu w dół próbowałem sprawdzić swoje zrozumienie testu Pearson Chi Squared. Zwykle używam statystyki chi kwadrat (lub zredukowanej statystyki chi kwadrat) do dopasowania lub sprawdzenia wynikowego dopasowania. W tym przypadku wariancja nie jest zwykle oczekiwaną liczbą zliczeń w tabeli lub histogramie, ale pewną wariancją określoną eksperymentalnie. Tak czy …
2
Czy istnieje graficzna reprezentacja kompromisu wariancji odchylenia w regresji liniowej?
Cierpię na zaciemnienie. Pokazano mi następujący obraz, aby pokazać kompromis wariancji odchylenia w kontekście regresji liniowej: Widzę, że żaden z dwóch modeli nie jest dobrze dopasowany - „prosty” nie docenia złożoności relacji XY, a „złożony” jest po prostu zbyt duży, zasadniczo ucząc się danych treningowych na pamięć. Jednak całkowicie nie …
2
Dlaczego klasyfikator regresji grzbietu działa całkiem dobrze w przypadku klasyfikacji tekstu?
Podczas eksperymentu dotyczącego klasyfikacji tekstu znalazłem klasyfikator grzbietowy generujący wyniki, które stale przewyższają testy wśród tych klasyfikatorów, które są częściej wymieniane i stosowane do zadań eksploracji tekstu, takich jak SVM, NB, kNN itp. Chociaż nie opracowałem na temat optymalizacji każdego klasyfikatora w tym konkretnym zadaniu klasyfikacji tekstu, z wyjątkiem kilku …
4
Wąski przedział ufności - większa dokładność?
Mam dwa pytania dotyczące przedziałów ufności: Najwyraźniej wąski przedział ufności oznacza, że ​​istnieje mniejsza szansa na uzyskanie obserwacji w tym przedziale, dlatego nasza dokładność jest wyższa. Również przedział ufności 95% jest węższy niż przedział ufności 99%, który jest szerszy. Przedział ufności 99% jest dokładniejszy niż 95%. Czy ktoś może podać …
2
Losowy spacer z pędem
Rozważ losową liczbę całkowitą rozpoczynającą się od 0 z następującymi warunkami: Pierwszy krok to plus lub minus 1, z jednakowym prawdopodobieństwem. Każdy przyszły krok to: 60% prawdopodobnie będzie w tym samym kierunku co poprzedni krok, 40% prawdopodobnie będzie w przeciwnym kierunku Jaki rodzaj dystrybucji to daje? Wiem, że losowy spacer …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.