Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

1
Co robi komenda anova () z obiektem modelu Lmer?
Mam nadzieję, że jest to pytanie, na które ktoś tutaj może mi odpowiedzieć na temat natury rozkładania sum kwadratów z dopasowanego modelu mieszanego lmer(z pakietu lme4 R). Po pierwsze powinienem powiedzieć, że jestem świadomy kontrowersji związanych z zastosowaniem tego podejścia, aw praktyce bardziej prawdopodobne byłoby użycie LRT z bootstrapem do …
2
Porównanie lmer i lmer
Zastanawiałem się, czy ktokolwiek mógłby mnie oświecić na temat obecnych różnic między tymi dwiema funkcjami. Znalazłem następujące pytanie: Jak wybrać bibliotekę nlme lub lme4 R dla modeli efektów mieszanych? , ale pochodzi to sprzed kilku lat. To całe życie w kręgach oprogramowania. Moje konkretne pytania to: Czy są (nadal) jakieś …
2
Jakie są założenia ujemnej regresji dwumianowej?
Pracuję z dużym zestawem danych (poufnym, więc nie mogę udostępniać zbyt wiele) i doszedłem do wniosku, że konieczna będzie regresja dwumianowa. Nigdy wcześniej nie dokonywałem regresji glm i nie mogę znaleźć żadnych jasnych informacji na temat założeń. Czy są takie same dla MLR? Czy mogę przekształcić zmienne w ten sam …
5
„Eksploracja” danych a „szpiegowanie” danych / „torturowanie”?
Wiele razy spotkałem się z nieformalnymi ostrzeżeniami przed „szpiegowaniem danych” (oto jeden zabawny przykład ) i myślę, że mam intuicyjne wyobrażenie z grubsza, co to oznacza i dlaczego może to stanowić problem. Z drugiej strony „eksploracyjna analiza danych” wydaje się być całkowicie godną szacunku procedurą w statystyce, przynajmniej sądząc po …
2
Test rozkładu bimodalnego
Zastanawiam się, czy istnieje jakiś test statystyczny do „przetestowania” znaczenia rozkładu bimodalnego. Mam na myśli, w jakim stopniu moje dane spełniają rozkład bimodalny, czy nie? Jeśli tak, czy jest jakiś test w programie R?
8
Jakie przedmioty matematyczne zaproponowałbyś, aby przygotować się do eksploracji danych i uczenia maszynowego?
Staram się stworzyć samokierujący program matematyki, aby przygotować się do uczenia się eksploracji danych i uczenia maszynowego. Jest to motywowane przez rozpoczęcie klasy uczenia maszynowego Andrew Ng na Coursera i odczuwanie, że przed kontynuowaniem muszę poprawić swoje umiejętności matematyczne. Niedawno ukończyłem studia, więc moja algebra i statystyki (szczególnie z nauk …
9
Dlaczego warto stosować wektorowy model korekcji błędów?
Jestem zdezorientowany co do modelu wektorowej korekcji błędów ( VECM ). Kontekst techniczny: VECM oferuje możliwość zastosowania wektorowego modelu autoregresyjnego ( VAR ) do zintegrowanych wielowymiarowych szeregów czasowych. W podręcznikach wymieniają pewne problemy ze stosowaniem VAR do zintegrowanych szeregów czasowych, z których najważniejszym jest tak zwana regresja fałszywa (statystyki t …
4
Jak przeprowadzić redukcję wymiarowości za pomocą PCA w R.
Mam duży zestaw danych i chcę przeprowadzić redukcję wymiarów. Teraz wszędzie czytam, że mogę do tego użyć PCA. Jednak nadal nie wydaje mi się, co robić po obliczeniu / wykonaniu PCA. W R można to łatwo zrobić za pomocą polecenia princomp. Ale co zrobić po obliczeniu PCA? Jeśli zdecydowałem, że …
30 r  pca 
4
Techniki uczenia maszynowego do analizowania ciągów?
Mam wiele ciągów adresów: 1600 Pennsylvania Ave, Washington, DC 20500 USA Chcę parsować je na ich komponenty: street: 1600 Pennsylvania Ave city: Washington province: DC postcode: 20500 country: USA Ale oczywiście dane są brudne: pochodzą z wielu krajów w wielu językach, napisane na różne sposoby, zawierają błędy ortograficzne, brakuje fragmentów, …
3
Zalecenie dla recenzowanego czasopisma open source?
Mam manuskrypt dotyczący metody bootstrap do testowania hipotez jednego środka i chciałbym przesłać ją do publikacji, ale mam dylemat moralny. Zapisałem się na protest przeciwko Elsevierowi z powodu ich nieetycznych praktyk biznesowych, a przeczytanie całej sprawy naprawdę zmusiło mnie do zakwestionowania etyki innych czasopism naukowych o charakterze zarobkowym. Dlatego chciałbym …
5
Strategie uczenia rozkładu próbkowania
Wersja tl; dr Jakie skuteczne strategie stosujesz, aby nauczyć rozkład próbkowania (na przykład średniej próbki) na wstępnym poziomie licencjackim? Tło We wrześniu będę prowadził kurs wprowadzający dla studentów drugiego roku nauk społecznych (głównie nauk politycznych i socjologii) z wykorzystaniem Podstawowej praktyki statystycznej Davida Moore'a. Będzie to już piąty raz, kiedy …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.