Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

1
Jakie są klasyczne zapisy w statystyce, algebrze liniowej i uczeniu maszynowym? Jakie są powiązania między tymi notacjami?
Kiedy czytamy książkę, zrozumienie zapisów odgrywa bardzo ważną rolę w zrozumieniu treści. Niestety różne społeczności mają różne konwencje zapisu w odniesieniu do formułowania modelu i problemu optymalizacji. Czy ktoś mógłby tutaj streścić niektóre zapisy formuł i podać możliwe powody? Podam tutaj przykład: w literaturze algebry liniowej klasyczna książka jest wstępem …
6
Jak wybrać pomiędzy ROC AUC a wynikiem F1?
Niedawno ukończyłem zawody Kaggle, w których stosowano wynik roc auc zgodnie z wymogami zawodów. Przed tym projektem zwykle stosowałem wynik F1 jako miarę do pomiaru wydajności modelu. Idąc dalej, zastanawiam się, jak powinienem wybrać pomiędzy tymi dwoma danymi? Kiedy stosować i jakie są ich zalety i wady? Przy okazji, przeczytałem …
3
R caret i NA
Bardzo wolę dbać o jego zdolność do dostrajania parametrów i jednolity interfejs, ale zauważyłem, że zawsze wymaga kompletnych zestawów danych (tj. Bez NA), nawet jeśli zastosowany model „nagi” pozwala NA. Jest to bardzo uciążliwe, ponieważ należy stosować pracochłonne metody imputacji, które w pierwszej kolejności nie są konieczne. Jak można uniknąć …
5
Intuicyjne wyjaśnienie zbieżności w rozkładzie i zbieżności w prawdopodobieństwie
Jaka jest intuicyjna różnica między zmienną losową zbieżną w prawdopodobieństwie a zmienną losową zbieżną w rozkładzie? Przeczytałem wiele definicji i równań matematycznych, ale to naprawdę nie pomaga. (Należy pamiętać, że jestem studentem licencjackim studiującym ekonometrię). W jaki sposób zmienna losowa może zbiegać się w jedną liczbę, ale także w rozkład?
7
Testowanie hipotez dystrybucyjnych - po co to robić, jeśli nie możesz „zaakceptować” swojej hipotezy zerowej?
Różne testy hipotez, takie jak test GOF , Kołmogorow-Smirnov, Anderson-Darling itp., Mają ten podstawowy format:χ2)χ2)\chi^{2} H.0H.0H_0 : Dane są zgodne z podanym rozkładem. H.1H.1H_1 : Dane nie są zgodne z podaną dystrybucją. Zazwyczaj ocenia się twierdzenie, że niektóre dane są zgodne z pewnym rozkładem, a jeśli odrzuca się , dane …
1
Związek między wariacyjnymi Bayes i EM
Czytałem gdzieś, że metoda Variational Bayes jest uogólnieniem algorytmu EM. Rzeczywiście, iteracyjne części algorytmów są bardzo podobne. Aby przetestować, czy algorytm EM jest specjalną wersją Variational Bayes, próbowałem: YYY to dane, to zbiór ukrytych zmiennych, a to parametry. W Variational Bayes, które wykonujemy, możemy dokonać przybliżenia, tak aby . Gdzie …
1
One-vs-All i One-vs-One w svm?
Jaka jest różnica między klasyfikatorem SVM jeden na wszystkich a jednym na jednego? Czy jeden do wszystkich oznacza jednego klasyfikatora do klasyfikacji wszystkich typów / kategorii nowego obrazu, a jeden do jednego oznacza każdy typ / kategorię nowego obrazu klasyfikuje się za pomocą innego klasyfikatora (każda kategoria jest obsługiwana przez …
2
Dlaczego LDA Python scikit-learn LDA nie działa poprawnie i jak oblicza LDA przez SVD?
Użyłem liniowej analizy dyskryminacyjnej (LDA) z scikit-learnbiblioteki uczenia maszynowego (Python) do redukcji wymiarów i byłem trochę ciekawy wyników. Zastanawiam się teraz, czym scikit-learnzajmuje się LDA, aby wyniki wyglądały inaczej niż np. Ręczne podejście lub LDA wykonane w R. Byłoby wspaniale, gdyby ktoś mógł dać mi tutaj jakieś spostrzeżenia. Zasadniczo najbardziej …
1
Jaką normę błędu rekonstrukcji minimalizuje macierz aproksymacji niskiego rzędu uzyskana za pomocą PCA?
Biorąc pod uwagę aproksymację PCA (lub SVD) macierzy z macierzą , wiemy, że jest najlepszym przybliżeniem niskiej rangi .XXX X XX^X^\hat XX^X^\hat XXXX Czy jest to zgodne z indukowaną normą∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (tj. Największą normą wartości własnej), czy zgodnie z normą Frobenius ?∥⋅∥F∥⋅∥F\parallel \cdot \parallel_F
5
Dlaczego te stwierdzenia nie wynikają logicznie z 95% CI dla średniej?
Czytałem artykuł Hoekstry i in. Z 2014 r. Na temat „Solidnej błędnej interpretacji przedziałów ufności”, który pobrałem ze strony internetowej Wagenmakers . Na przedostatniej stronie pojawia się następujący obraz. Według autorów Fałsz jest prawidłową odpowiedzią na wszystkie te stwierdzenia. Nie jestem pewien, dlaczego twierdzenia są fałszywe, i o ile mogę …
2
Jaki jest rozkład w regresji liniowej pod hipotezą zerową? Dlaczego jego tryb nie jest ustawiony na zero, gdy ?
Jaki jest rozkład współczynnika determinacji, czyli R do kwadratu, , w regresji wielokrotnej liniowej jednowymiarowej z regresją zerową ?R2R2R^2H0:β=0H0:β=0H_0:\beta=0 Jak to zależy od liczby predyktorów i liczby próbek ? Czy istnieje sposób wyrażenia w formie zamkniętej dla trybu tej dystrybucji?kkkn>kn>kn>k W szczególności mam wrażenie, że dla prostej regresji (z jednym …
2
Oszacuj kwantyl wartości w wektorze
Mam zestaw liczb rzeczywistych. Muszę oszacować kwantyl nowej liczby. Czy jest jakiś czysty sposób na zrobienie tego w R? ogólnie? Mam nadzieję, że to nie jest trywialne ;-) Bardzo dziękuję za odpowiedź. PK
26 r 
2
Trzy wersje analizy dyskryminacyjnej: różnice i sposób ich użycia
Czy ktoś może wyjaśnić różnice i podać konkretne przykłady wykorzystania tych trzech analiz? LDA - liniowa analiza dyskryminacyjna FDA - Analiza dyskryminacyjna Fishera QDA - Kwadratowa analiza dyskryminacyjna Szukałem wszędzie, ale nie mogłem znaleźć prawdziwych przykładów z prawdziwymi wartościami, aby zobaczyć, jak te analizy są wykorzystywane i obliczane dane, tylko …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.