Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

4
Współpraca w dziedzinie statystyki
Jako biolog wiele projektów badawczych, nad którymi pracuję w pewnym momencie, wiąże się ze współpracą ze statystykami, czy to w celu uzyskania prostej porady, czy też wdrożenia i przetestowania modelu dla moich danych. Moi koledzy ze statystyki przyznają, że współpracują ze sobą w znacznym stopniu, ponieważ proces przeglądu kadencji uwzględnia …
25 academia 
2
Wykrywanie wzorców oszukiwania podczas egzaminu na wiele pytań
PYTANIE: Mam dane binarne dotyczące pytań egzaminacyjnych (poprawne / niepoprawne). Niektóre osoby mogły mieć wcześniejszy dostęp do podzbioru pytań i prawidłowych odpowiedzi. Nie wiem kto, ilu lub który. Gdyby nie było oszukiwania, załóżmy, że modelowałbym prawdopodobieństwo poprawnej odpowiedzi dla elementu jako , gdzie reprezentuje trudność pytania, a to ukryta zdolność …
2
Test współczynnika wiarygodności w R.
Załóżmy, że zamierzam wykonać jednoczynnikową regresję logistyczną dla kilku niezależnych zmiennych, takich jak to: mod.a <- glm(x ~ a, data=z, family=binominal("logistic")) mod.b <- glm(x ~ b, data=z, family=binominal("logistic")) Zrobiłem porównanie modelu (test współczynnika prawdopodobieństwa), aby sprawdzić, czy model jest lepszy niż model zerowy za pomocą tego polecenia 1-pchisq(mod.a$null.deviance-mod.a$deviance, mod.a$df.null-mod.a$df.residual) Następnie …
25 r  logistic  diagnostic 
8
Jak oszacować, ile osób uczestniczyło w wydarzeniu (powiedzmy wiecu politycznym)?
Student zapytał mnie dzisiaj: „Skąd oni wiedzą, ile osób uczestniczyło w dużej grupie, na przykład„ Rajd Stewarta / Colberta, by przywrócić zdrowie psychiczne ”w Waszyngtonie?” Wiadomości przedstawiają szacunki w dziesiątkach tysięcy, ale jakie metody są używane do uzyskania tych szacunków i jak są one wiarygodne? Jeden artykuł najwyraźniej opierał swoje …
4
Amoeba Wywiad Pytanie
Zadano mi to pytanie podczas wywiadu dotyczącego pozycji handlowej w firmowej firmie handlowej. Bardzo chciałbym poznać odpowiedź na to pytanie i intuicję. Amoeba Pytanie: Populacja ameb zaczyna się od 1. Po 1 okresie ameba może podzielić się na 1, 2, 3 lub 0 (może umrzeć) z jednakowym prawdopodobieństwem. Jakie jest …
2
Jak poradzić sobie z analizą danych eksploracyjnych i pogłębianiem danych w badaniach na małych próbach?
Analiza danych eksploracyjnych (EDA) często prowadzi do eksploracji innych „ścieżek”, które niekoniecznie należą do początkowego zestawu hipotez. Taką sytuację mam w przypadku badań z ograniczoną wielkością próby i dużą ilością danych zebranych za pomocą różnych kwestionariuszy (dane społeczno-demograficzne, skale neuropsychologiczne lub medyczne - np. Funkcjonowanie psychiczne lub fizyczne, poziom depresji …
2
Niezawodność między oceniającymi dla danych porządkowych lub przedziałowych
Jakie metody wiarygodności między oceniającymi są najbardziej odpowiednie dla danych porządkowych lub przedziałowych? Uważam, że „wspólne prawdopodobieństwo porozumienia” lub „Kappa” są przeznaczone dla danych nominalnych. Chociaż można użyć „Pearson” i „Spearman”, są one głównie używane w przypadku dwóch wskaźników pomiarowych (chociaż można je stosować w więcej niż dwóch wskaźnikach). Jakie …
3
Gradient utraty zawiasu
Próbuję zaimplementować podstawowe zejście gradientu i testuję go za pomocą funkcji utraty zawiasu, tj. . Jestem jednak zdezorientowany co do gradientu utraty zawiasu. Mam wrażenie, że tak jestlzawias= maks. ( 0 , 1 - y x ⋅ w )lhinge=max(0,1−y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) ∂∂wlzawias= { - y x0jeżeli Y x …
3
Zastosowanie falek do algorytmów wykrywania anomalii opartych na szeregach czasowych
Zacząłem pracować nad samouczkami w zakresie eksploracji danych statystycznych autorstwa Andrew Moore'a (wysoce zalecane dla każdego, kto pierwszy wejdzie w tę dziedzinę). Zacząłem od przeczytania tego niezwykle interesującego pliku PDF zatytułowanego „Wprowadzenie do algorytmów wykrywania anomalii opartych na szeregach czasowych”, w którym Moore śledzi wiele technik stosowanych w tworzeniu algorytmu …
7
Jaka jest różnica między prawdopodobieństwem a proporcją?
Powiedzmy, że od lat jadam hamburgery. Można powiedzieć, że jem hamburgery 14% razy, lub że prawdopodobieństwo zjedzenia hamburgera w danym tygodniu wynosi 14%. Jakie są główne różnice między prawdopodobieństwami a proporcjami? Czy prawdopodobieństwo jest oczekiwaną proporcją? Czy prawdopodobieństwa są niepewne i czy proporcje są gwarantowane?
3
Wizualizacja danych odpowiedzi przedmiotu Likerta
Jakie są dobre sposoby na wizualizację zestawu odpowiedzi Likerta? Na przykład zestaw elementów pytających o znaczenie X w podejmowaniu decyzji dotyczących A, B, C, D, E, F i G? Czy jest coś lepszego niż skumulowane wykresy słupkowe? Co należy zrobić z odpowiedziami N / A? Jak mogą być reprezentowani? Czy …
5
Poszukiwanie określonego rodzaju wyjaśnień ARIMA
To może być trudne do znalezienia, ale chciałbym przeczytać dobrze wyjaśnione przykład ARIMA że używa minimalnej matematyki rozszerza dyskusję poza budowanie modelu na wykorzystanie tego modelu do prognozowania konkretnych przypadków wykorzystuje grafikę, a także wyniki numeryczne, aby scharakteryzować dopasowanie wartości prognozowanych do rzeczywistych.
3
Dlaczego działa test Kołmogorowa-Smirnowa?
Czytając o 2-próbnym teście KS, rozumiem dokładnie, co on robi, ale nie rozumiem, dlaczego to działa . Innymi słowy, mogę wykonać wszystkie kroki, aby obliczyć funkcje rozkładu empirycznego, znaleźć maksymalną różnicę między nimi, aby znaleźć statystykę D, obliczyć wartości krytyczne, przekonwertować statystykę D na wartość p itp. Ale nie mam …
6
Czy w przypadku problemów wypukłych gradient w Stochastic Descent Gradient (SGD) zawsze wskazuje na ekstremalną wartość globalną?
Biorąc pod uwagę funkcję wypukłego kosztu, wykorzystującą SGD do optymalizacji, będziemy mieli gradient (wektor) w pewnym punkcie podczas procesu optymalizacji. Moje pytanie brzmi: biorąc pod uwagę punkt na wypukłości, czy gradient wskazuje tylko w kierunku, w którym funkcja rośnie / zmniejsza się najszybciej, czy gradient zawsze wskazuje na optymalny / …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.