Statystyki i duże zbiory danych

Pozdrowienia, Obecnie wykonuję następujące czynności w języku R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Snip of summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …

9 r  time-series  data-visualization  entropy 

Mam detektor, który wykryje zdarzenie z pewnym prawdopodobieństwem p . Jeśli wykrywacz powie, że zdarzenie miało miejsce, zawsze tak jest, więc nie ma fałszywych trafień. Po uruchomieniu przez pewien czas wykryto k zdarzeń. Chciałbym obliczyć całkowitą liczbę zdarzeń, które miały miejsce, zostały wykryte lub w inny sposób, z pewną pewnością, …

9 probability  confidence-interval 

Jaka jest różnica między badaniami operacyjnymi a analizą statystyczną?

9 operations-research 

Mam trudności z wyborem właściwego sposobu wizualizacji danych. Załóżmy, że mamy księgarnie, które sprzedają książki , a każda książka ma co najmniej jedną kategorię . W przypadku księgarni, jeśli policzymy wszystkie kategorie książek, uzyskamy histogram pokazujący liczbę książek należących do określonej kategorii dla tej księgarni. Chcę wyobrazić sobie zachowanie księgarni, …

9 pca  data-visualization  histogram  barplot 

Mam model regresji liniowej z obserwacjami próbki i zmiennych i chcę wiedzieć: Czy określona zmienna jest wystarczająco istotna, aby pozostać uwzględniona w modelu. Czy inna zmienna (z obserwacjami) powinna być uwzględniona w modelu. Jakie statystyki mogą mi pomóc? Jak uzyskać je najbardziej wydajnie?

9 regression 

Upraszczając nieco, mam około miliona rekordów, które rejestrują czas wejścia i wyjścia ludzi w systemie trwającym około dziesięciu lat. Każdy rekord ma czas wejścia, ale nie każdy rekord ma czas wyjścia. Średni czas w systemie wynosi ~ 1 rok. Brakujące czasy wyjścia występują z dwóch powodów: Osoba nie opuściła systemu …

9 survival  missing-data 

W odpowiedzi na to pytanie dotyczące traktowania danych kategorycznych jako ciągłego wymieniono optymalne skalowanie. Jak działa ta metoda i jak ją stosować?

9 categorical-data  data-transformation  optimal-scaling 

Słyszałem, że wiele ilości występujących w przyrodzie jest zwykle dystrybuowanych. Jest to zazwyczaj uzasadnione przy użyciu centralnego twierdzenia o limicie, które mówi, że gdy uśrednisz dużą liczbę zmiennych losowych iid, otrzymasz rozkład normalny. Na przykład cecha, która jest określana przez efekt addytywny dużej liczby genów, może być w przybliżeniu normalnie …

9 data-transformation  normality-assumption 

Podano wielkość próby „N”, której planuję użyć do prognozowania danych. Jakie są niektóre sposoby podziału danych, aby wykorzystać niektóre z nich do ustanowienia modelu, a pozostałe dane do zweryfikowania modelu? Wiem, że nie ma czarno-białej odpowiedzi na to pytanie, ale byłoby interesujące znać pewne „ogólne zasady” lub zwykle używane proporcje. …

9 machine-learning  modeling  sample  validation 

Jak wiesz, istnieją dwa popularne typy walidacji krzyżowej, K-fold i losowe podpróbkowanie (jak opisano w Wikipedii ). Wiem jednak, że niektórzy badacze tworzą i publikują artykuły, w których coś, co jest określane jako CV składane w K, jest rzeczywiście przypadkowym podpróbkowaniem, więc w praktyce nigdy nie wiesz, co tak naprawdę …

9 machine-learning  cross-validation 

Znam mikroekonometrię Camerona i Trivediego za pomocą Staty. Jakie są inne dobre teksty do nauki Staty?

9 references  stata 

Jak wyjaśniłbyś wizualizację danych i dlaczego jest to ważne dla laika?

9 data-visualization  intuition 

Których bibliotek wizualizacji (wykresy, wykresy, ...) sugerujesz użyć w samodzielnej aplikacji (Linux, .Net, Windows, cokolwiek). Przyjemna byłaby również wydajność.

9 data-visualization  software 

Chcę przeprowadzić analizę sentymentu na tekście, przejrzałem kilka artykułów, niektóre z nich używają „Naive Bayes”, a inne to „Recurrent Neural Network (LSTM)” , z drugiej strony widziałem bibliotekę Pythona do analizy sentymentów, która jest nltk. Używa „Naive Bayes”. Czy ktoś może wyjaśnić, jaka jest różnica między używaniem tych dwóch? Przeczytałem …

8 machine-learning  neural-networks  python  natural-language 

Jabłko znajduje się na wierzchołku z pięciokąta , a robak znajduje się dwa wierzchołki z dala, na . Każdego dnia robak czołga się z jednakowym prawdopodobieństwem do jednego z dwóch sąsiadujących wierzchołków. Tak więc po jednym dniu robak znajduje się w wierzchołku lub , każdy z prawdopodobieństwem . Po dwóch …

8 probability  markov-process