Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Kiedy powinniśmy dyskretyzować / bin ciągłe zmienne / funkcje niezależne, a kiedy nie?
Kiedy powinniśmy dyskretyzować / bin niezależne zmienne / cechy, a kiedy nie? Moje próby odpowiedzi na pytanie: Zasadniczo nie powinniśmy binować, ponieważ binowanie spowoduje utratę informacji. Binning faktycznie zwiększa stopień swobody modelu, więc możliwe jest spowodowanie nadmiernego dopasowania po binningu. Jeśli mamy model „dużej odchylenia”, binowanie może nie być złe, …
2
Czy wszystkie algorytmy uczenia maszynowego rozdzielają dane liniowo?
Jestem entuzjastą programowania i uczenia maszynowego. Zaledwie kilka miesięcy temu zacząłem uczyć się programowania maszynowego. Podobnie jak wielu, którzy nie mają ilościowego zaplecza naukowego, zacząłem również uczyć się o ML, majstrując przy algorytmach i zestawach danych w szeroko stosowanym pakiecie ML (Caret R). Jakiś czas temu czytałem blog, w którym …
6
Prawdopodobieństwo - Dlaczego pomnażać?
Studiuję o oszacowaniu maksymalnego prawdopodobieństwa i czytam, że funkcja prawdopodobieństwa jest iloczynem prawdopodobieństwa każdej zmiennej. Dlaczego to jest produkt? Dlaczego nie suma? Próbowałem szukać w Google, ale nie mogę znaleźć żadnych sensownych odpowiedzi. https://en.wikipedia.org/wiki/Maximum_likelihood
2
jakie są założenia testu permutacyjnego?
Często mówi się, że testy permutacji nie mają żadnych założeń, jednak z pewnością nie jest to prawdą. Na przykład, jeśli moje próbki są w jakiś sposób skorelowane, mogę sobie wyobrazić, że permutacja ich etykiet nie byłaby właściwa. Myślę tylko, że znalazłem o tym problemie to zdanie z wikipedii: „Ważnym założeniem …
1
Dlaczego rozkład wariancji próbkowania jest rozkładem kwadratowym chi?
Wyrok Rozkład próbkowania wariancji próbki jest rozkładem kwadratowym chi ze stopniem swobody równym , gdzie jest rozmiarem próbki (biorąc pod uwagę, że losowa zmienna będąca przedmiotem zainteresowania jest zwykle rozkładana).n - 1n-1n-1nnn Źródło Moja intuicja Ma to dla mnie intuicyjny sens 1), ponieważ test chi-kwadrat wygląda jak suma kwadratu i …
3
interpretacja osi y wykresów częściowej zależności
To pytanie zostało przeniesione z Przepełnienia stosu, ponieważ można na nie odpowiedzieć w ramach weryfikacji krzyżowej. Migrował 5 lat temu . Przeczytałem inne tematy dotyczące wykresów częściowej zależności, a większość z nich dotyczy tego, w jaki sposób rysujesz je różnymi pakietami, a nie jak możesz je dokładnie interpretować, więc: Czytałem …
2
Interpretacja średniego bezwzględnego błędu skalowanego (MASE)
Średni bezwzględny błąd skali (MASE) to miara dokładności prognozy zaproponowana przez Koehlera i Hyndmana (2006) . MASE=MAEMAEin−sample,naiveMASE=MAEMAEin−sample,naiveMASE=\frac{MAE}{MAE_{in-sample, \, naive}} gdzie jest średnim błędem bezwzględnym spowodowanym faktyczną prognozą; podczas gdy jest średnim błędem bezwzględnym generowanym przez naiwną prognozę (np. prognoza braku zmian dla zintegrowanego szeregu czasowego ), obliczoną na podstawie danych …
3
Dlaczego maksymalne prawdopodobieństwo i nie oczekiwane prawdopodobieństwo?
Dlaczego tak często uzyskuje się szacunki maksymalnego prawdopodobieństwa parametrów, ale praktycznie nigdy nie słyszy się o szacunkach oczekiwanych parametrów prawdopodobieństwa (tj. Opartych raczej na wartości oczekiwanej niż trybie funkcji wiarygodności)? Czy dzieje się tak przede wszystkim z powodów historycznych, czy też z bardziej merytorycznych przyczyn technicznych lub teoretycznych? Czy pojawienie …
2
Dlaczego otrzymuję zerową wariancję efektu losowego w moim modelu mieszanym, pomimo pewnych różnic w danych?
Przeprowadziliśmy regresję logistyczną efektów mieszanych przy użyciu następującej składni; # fit model fm0 <- glmer(GoalEncoding ~ 1 + Group + (1|Subject) + (1|Item), exp0, family = binomial(link="logit")) # model output summary(fm0) Przedmiot i przedmiot to efekty losowe. Otrzymujemy nieparzysty wynik, który jest współczynnikiem, a odchylenie standardowe dla przedmiotowego terminu wynosi …
3
W jaki sposób niewłaściwe uprzednie postępowanie może prowadzić do prawidłowej dystrybucji tylnej?
Wiemy, że w przypadku właściwej wcześniejszej dystrybucji P(θ∣X)=P(X∣θ)P(θ)P(X)P.(θ∣X)=P.(X∣θ)P.(θ)P.(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝P(X∣θ)P(θ)∝P.(X∣θ)P.(θ) \propto P(X \mid \theta)P(\theta) . Zwykle uzasadnieniem tego kroku jest to, że rozkład krańcowy , jest stały w odniesieniu do a zatem można go zignorować przy wyprowadzaniu rozkładu tylnego.P ( X ) θXXXP(X)P.(X)P(X)θθ\theta Jednak w …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.