Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

4
Czy istnieje sposób wykorzystania krzyżowej weryfikacji do dokonania wyboru zmiennej / cechy w R?
Mam zestaw danych z około 70 zmiennymi, które chciałbym wyciąć. Chcę użyć CV, aby znaleźć najbardziej przydatne zmienne w następujący sposób. 1) Losowo wybierz powiedz 20 zmiennych. 2) Użyj stepwise/ LASSO/ lars/ etc, aby wybrać najważniejsze zmienne. 3) Powtórz ~ 50x i zobacz, które zmienne są najczęściej wybierane (nie eliminowane). …
4
Wyjaśnienie symulacji statystycznej
Nie jestem statystykiem. Więc proszę, znoście moje błędy, jeśli w ogóle. Czy mógłbyś wyjaśnić w prosty sposób, w jaki sposób przeprowadzana jest symulacja? Wiem, że pobiera losową próbkę z normalnego rozkładu i używa do symulacji. Ale nie rozumiem jasno.
10 simulation 
1
Rozmiar drzewa w wzmocnieniu gradientowym
Zwiększanie drzewa gradientowego, jak zaproponował Friedman, używa drzew decyzyjnych z Jwęzłami końcowymi (= liśćmi) jako podstawowych uczniów. Istnieje wiele sposobów, aby wyhodować drzewo z dokładnie Jwęzłami, na przykład można je wyhodować w pierwszej kolejności w głębokości lub w pierwszej kolejności, ... Czy istnieje ustalony sposób uprawy drzew z dokładnie Jkońcowymi …
10 r  cart  boosting 
1
Jaka jest hipoteza zerowa w teście Manna-Whitneya?
Niech X1X1X_1 będzie wartością losową z rozkładu 1 i niech X2)X2)X_2 będzie wartością losową z rozkładu 2. Myślałem, że hipoteza zerowa dla testu Manna-Whitneya to P.( X1&lt; X2)) = P( X2)&lt; X1)P.(X1&lt;X2))=P.(X2)&lt;X1)P(X_1 < X_2) = P(X_2 < X_1) . Jeśli przeprowadzę symulacje testu Manna-Whitneya na danych z rozkładów normalnych z …
3
Oczekiwana liczba niewidzialnych kart przy dobieraniu
Mamy talię kart. Losujemy z niego karty jednolicie losowo z wymianą. Po 2 n losowaniach, jakiej oczekiwanej liczby kart nigdy nie wybrałeś?nnn2n2n2n To pytanie jest częścią 2 problemu 2.12 w M. Mitzenmacher i E. Upfal, Prawdopodobieństwo i obliczenia: randomizowane algorytmy i analiza probabilistyczna , Cambridge University Press, 2005. Co więcej, …
4
Jak interpretować współczynniki przekształcone logarytmicznie w regresji liniowej?
Moja sytuacja to: Mam 1 zmienną ciągłą zależną i 1 ciągłą zmienną predykcyjną, którą przekształciłem logarytmicznie, aby znormalizować ich reszty dla prostej regresji liniowej. Byłbym wdzięczny za wszelką pomoc dotyczącą powiązania tych zmienionych zmiennych z ich pierwotnym kontekstem. Chcę użyć regresji liniowej, aby przewidzieć liczbę dni, w których uczniowie opuścili …
3
Jak formalnie przetestować pod kątem „przerwy” w normalnym (lub innym) rozkładzie
Często pojawia się w naukach społecznych, że zmienne, które powinny być w jakiś sposób rozłożone, powiedzmy normalnie, kończą się nieciągłością w ich rozkładzie wokół pewnych punktów. Na przykład, jeśli istnieją określone wartości graniczne, takie jak „przejście / porażka” i jeśli środki te podlegają zniekształceniu, może wystąpić nieciągłość w tym punkcie. …
3
Statystyki dotyczące witryn randkowych
Jestem ciekawy, w jaki sposób internetowe systemy randkowe mogą wykorzystywać dane z ankiet do określania dopasowań. Załóżmy, że mają dane dotyczące wyników z poprzednich meczów (np. 1 = szczęśliwe małżeństwo, 0 = brak drugiej randki). Następnie załóżmy, że mieli 2 pytania preferencyjne, „Jak bardzo lubisz zajęcia na świeżym powietrzu? (1 …
1
Kiedy transformować zmienne predykcyjne podczas regresji wielokrotnej?
Obecnie biorę swoją pierwszą stosowaną klasę regresji liniowej na poziomie magisterskim i walczę z transformacjami zmiennych predykcyjnych w wielokrotnej regresji liniowej. Tekst, którego używam, Kutner i in. „Stosowane liniowe modele statystyczne” wydaje się nie obejmować mojego pytania. (oprócz sugerowania, że ​​istnieje metoda Box-Coxa do transformacji wielu predyktorów). W obliczu zmiennej …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.