Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
80% brakujących danych w jednej zmiennej
W moich danych jest jedna zmienna, w której brakuje 80% danych. Brak danych z powodu nieistnienia (tj. Ile pożyczka bankowa jest winna firmie). Natknąłem się na artykuł, w którym wyjaśniono, że metoda dopasowania zmiennej zastępczej jest rozwiązaniem tego problemu. Czyli muszę przekształcić tę zmienną ciągłą w jakościową? Czy to jedyne …
1
Filtrowanie ramki danych
Wciąż uczysz się podstawowych funkcji w R, funkcja podzbioru wydaje się filtrować tylko warunek oparty na pojedynczej kolumnie z wieloma warunkami lub bez? Jak mogę łatwo filtrować dane z ramki danych? gdy otrzymasz wiele warunków Kiedy warunek należy zastosować w dostępnych kolumnach. Przykład: biorąc pod uwagę ramkę danych zawierającą name …
12 r 
2
Akinator.com i klasyfikator Naive Bayes
Kontekst: Jestem programistą z pewnym (na wpół zapomnianym) doświadczeniem w statystyce z kursów uni. Niedawno natknąłem się na http://akinator.com i spędziłem trochę czasu próbując sprawić, by zawiodła. A kto nie był? :) Postanowiłem dowiedzieć się, jak to może działać. Po przejrzeniu Google'a i przeczytaniu pokrewnych postów na blogu i dodaniu …
3
Zrozumienie regresji SVM: funkcja celu i „płaskość”
SVM do klasyfikacji mają dla mnie intuicyjny sens: rozumiem, jak minimalizacja daje maksymalny margines. Nie rozumiem jednak tego celu w kontekście regresji. Różne teksty ( tu i tutaj ) opisują to jako maksymalizujące „płaskość”. Dlaczego mielibyśmy to zrobić? Co w regresji odpowiada koncepcji „marginesu”?||θ||2||θ||2||\theta||^2 Oto kilka prób odpowiedzi, ale żadne …
12 regression  svm 
2
Jak wykonać test hipotezy MCMC na modelu regresji z efektem mieszanym z losowymi nachyleniami?
Biblioteka languageR zapewnia metodę (pvals.fnc) do testowania istotności MCMC ustalonych efektów w modelu dopasowania regresji mieszanej przy użyciu lmera. Jednak pvals.fnc podaje błąd, gdy model Lmer zawiera losowe zbocza. Czy istnieje sposób przeprowadzenia testu hipotetycznego MCMC dla takich modeli? Jeśli tak to jak? (Aby zostać zaakceptowanym, odpowiedź powinna zawierać sprawdzony …
8
Co robi statystyk?
Kiedy mówię moim nie-statystycznym przyjaciołom, że jestem studentem studiów doktoranckich w dziedzinie statystyki, mówią naturalnie „och, więc chcesz zostać profesorem?”. Mówię im „nie”, tak naprawdę planuję pracować w przemyśle. Następnie odpowiadają: „i co robić?”. Nie znalazłem dobrej odpowiedzi na to pytanie. Chcę dać im szereg interesujących problemów, nad którymi pracują …
12 careers 
3
Oceny czynnikowe z dyskretnych, porządkowych odpowiedzi
Czy istnieje zasadniczy sposób szacowania wyników czynników, gdy masz porządkowe, dyskretne zmienne. Muszę porządkowej dyskretne, zmienne. Jeśli przyjmuję założenie, że u podstaw każdej odpowiedzi leży ciągła zmienna o rozkładzie normalnym, to mogę obliczyć macierzy korelacji polichorycznej. Następnie mogę uruchomić analizę czynnikową na tej macierzy i uzyskać ładunki czynnikowe dla każdej …
3
Jak obliczyć oczekiwanie na ?
Jeśli jest wykładniczo rozłożone z parametrem i są wzajemnie niezależne, to czego oczekujemyXiXiX_iλ X i(i=1,...,n)(i=1,...,n)(i=1,...,n)λλ\lambdaXiXiX_i (∑i=1nXi)2(∑i=1nXi)2 \left(\sum_{i=1}^n {X_i} \right)^2 pod względem i i ewentualnie innych stałych?λnnnλλ\lambda Uwaga: to pytanie ma matematyczną odpowiedź na /math//q/12068/4051 . Czytelnicy też na to spojrzą.
3
Jak porównać medianę przeżycia między grupami?
Patrzę na medianę przeżycia za pomocą Kaplana-Meiera w różnych stanach dla danego rodzaju raka. Istnieją dość duże różnice między stanami. Jak mogę porównać medianę przeżycia we wszystkich stanach i ustalić, które z nich znacznie różnią się od średniej mediany przeżycia w całym kraju?
3
Jak korzystać ze statystyk CDF i PDF do analizy
To może być zbyt ogólne pytanie, ale mam nadzieję, że znajdę tutaj pomoc. Zaczynam pracę RA na mojej uczelni, a mój temat będzie związany z analizą ruchu w Internecie. Jestem całkiem nowy w świecie analiz, ale sądzę, że w świecie badań to właśnie muszę robić dużo. Przejrzałem kilka artykułów i …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.