Statystyki i duże zbiory danych

2

Próbuję lepiej zrozumieć receptywne pola CNN. W tym celu chciałbym obliczyć pole recepcyjne każdego neuronu w LeNet. W przypadku normalnego MLP jest to dość łatwe (patrz http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), ale trudniej jest obliczyć pole recepcyjne neuronu w warstwie następującej po jednej lub więcej warstwach splotowych i łączenie warstw. Jakie jest pole …

9 deep-learning conv-neural-network

1

Konwergencja z algorytmu EM z dwuwymiarowym rozkładem mieszanin

Mam model mieszanki, w którym chcę znaleźć estymator maksymalnego prawdopodobieństwa dla danego zestawu danych i zestawu częściowo zaobserwowanych danych . I realizowane zarówno E etapie (obliczenie oczekiwania dane i aktualnych parametrów ), i M-etapie, w celu zminimalizowania negatywnych log-Likelihood względu na spodziewany .xxxzzzzzzxxxθkθk\theta^kzzz Jak rozumiem, maksymalne prawdopodobieństwo wzrasta z każdą …

9 maximum-likelihood mixture expectation-maximization

4

Opracuj test statystyczny, aby rozróżnić dwa produkty

Mam zestaw danych z ankiety przeprowadzonej wśród klientów, chcę wdrożyć test statystyczny, aby sprawdzić, czy istnieje różnica istotności między produktem 1 a produktem 2. Oto zestaw danych opinii klientów. Stawka jest od bardzo złej, złej, w porządku, dobrej, do bardzo dobrej. customer product1 product2 1 very good very bad 2 …

9 statistical-significance categorical-data repeated-measures ordinal-data

1

Pytanie o założenie normalności testu t

W przypadku testów t, zgodnie z większością tekstów, zakłada się, że dane populacji są zwykle rozłożone. Nie rozumiem, dlaczego tak jest. Czy test t nie wymaga jedynie, aby rozkład próbkowania średnich próbek był normalnie rozłożony, a nie populacja? Jeśli jest tak, że test t ostatecznie ostatecznie wymaga normalności w rozkładzie …

9 hypothesis-testing t-test assumptions normality-assumption central-limit-theorem

3

R sezonowe szeregi czasowe

Korzystam z decomposefunkcji Ri wymyślam 3 składniki moich miesięcznych szeregów czasowych (trend, sezonowość i losowość). Jeśli wykreślę wykres lub spojrzę na tabelę, wyraźnie widzę, że na szereg czasowy ma wpływ sezonowość. Jednak kiedy regresuję szeregi czasowe do 11 zmiennych sezonowych, wszystkie współczynniki nie są istotne statystycznie, co sugeruje brak sezonowości. …

9 r regression time-series

1

Jakie są różnice między filtrami wyuczonymi w autoencoderze i splotowej sieci neuronowej?

W CNN poznamy filtry do tworzenia mapy obiektów w warstwie splotowej. W programie Autoencoder pojedynczą ukrytą jednostkę każdej warstwy można uznać za filtr. Jaka jest różnica między filtrami wyuczonymi w tych dwóch sieciach?

9 machine-learning neural-networks conv-neural-network autoencoders

2

W jaki sposób log (p (x, y)) normalizuje punktowe wzajemne informacje?

Próbuję zrozumieć znormalizowaną formę punktowej wzajemnej informacji. n p m i =p m i ( x , y)l o g( p ( x , y) )npmja=pmja(x,y)losol(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Dlaczego prawdopodobieństwo połączenia logarytmicznego normalizuje punktowe wzajemne informacje na poziomie [-1, 1]? Punktowa wzajemna informacja to: p m i = l o …

9 entropy information-theory mutual-information

1

Jaka jest różnica między „statystycznym testem hipotezy zerowej” a jakimkolwiek innym testem?

Niedawny gorący temat dyskusji dotyczy czasopisma zakazującego stosowania „procedur testowania statystycznego hipotez zerowych (NHSTP)” z artykułów przesyłanych do czasopisma. Widzę ten termin używany przez niektórych pisarzy, ale nie rozumiem, jakie rozróżnienie starają się wprowadzić. Czy NHSTP jest czymś innym niż „test hipotezy” lub „test istotności”?

9 hypothesis-testing statistical-significance terminology

1

Czy szacunek Bayesa z „uprzednim zryczałtowanym” jest taki sam jak szacunek maksymalnego prawdopodobieństwa?

W filogenetyce drzewa filogenetyczne są często konstruowane przy użyciu analizy MLE lub analizy bayesowskiej. W szacunkach bayesowskich często stosuje się płaski przeor. Jak rozumiem, oszacowanie bayesowskie jest oszacowaniem prawdopodobieństwa, które obejmuje uprzednie. Moje pytanie brzmi: jeśli użyjesz mieszkania wcześniej, czy różni się to od zwykłej analizy prawdopodobieństwa?

9 bayesian confidence-interval maximum-likelihood likelihood phylogeny

2

Skrócona średnia vs. mediana

Mam zestaw danych ze wszystkimi połączeniami z pogotowiem i czasem reakcji oddziału pogotowia ratunkowego. Przyznali, że są pewne błędy w czasach odpowiedzi, ponieważ są przypadki, w których nie rozpoczęli nagrywania (więc wartość wynosi 0) lub gdzie nie zatrzymali zegara (więc wartość może być bardzo wysoka). Chcę dowiedzieć się, jaka jest …

9 mean outliers median trimmed-mean

6

Jak przygotować / zbudować funkcje do wykrywania anomalii (dane bezpieczeństwa sieci)

Moim celem jest analiza dzienników sieciowych (np. Apache, syslog, audyt bezpieczeństwa Active Directory itd.) Przy użyciu wykrywania klastrów / anomalii do celów wykrywania włamań. Z dzienników mam wiele pól tekstowych, takich jak adres IP, nazwa użytkownika, nazwa hosta, port docelowy, port źródłowy itd. (Łącznie 15-20 pól). Nie wiem, czy w …

9 feature-selection outliers unsupervised-learning feature-construction

1

Wybór wartości k dla analizy wykrywania lokalnego współczynnika odstającego (LOF)

Mam zestaw danych trójwymiarowych i staram się korzystać z analizy lokalnego współczynnika odstającego, aby zidentyfikować najbardziej unikalne lub dziwne wartości. Jak decyduje się, jaką wartość k zastosować w analizie LOF? Rozumiem, co określa wartość k, więc nie jestem zaskoczony, że widzę nieco inne wyniki przy użyciu różnych wartości k, ale …

9 data-mining outliers

1

Jakie są różnice między różnymi rozwiązaniami kwadratowymi programowania R?

Szukam pakietu, który pomoże mi rozwiązać niektóre kwadratowe problemy z optymalizacją i widzę, że istnieje co najmniej pół tuzina różnych pakietów. Według tej strony: QP (programowanie kwadratowe, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Niektóre z nich (Rmosek i cplexAPI) zależą od innych …

9 r optimization

1

Czy Monte Carlo == stosuje proces losowy?

Nigdy nie miałem formalnego kursu statystyki, ale z powodu moich badań ciągle napotykam artykuły, które stosują kilka pojęć statystycznych. Często widzę opis procesu Monte Carlo zastosowanego do danej sytuacji, a to, co mogę zebrać 9 na 10 razy, sprowadza się do zwykłego losowego pokolenia populacji i jego późniejszych badań. Moje …

9 monte-carlo random-generation

3

Modelowanie danych zliczania, w których zmienna przesunięcia wynosi 0 dla niektórych obserwacji

Próbuję pomóc uczniowi kolegi. Uczeń obserwował i policzył zachowanie ptaków (liczba wezwań) w układzie eksperymentalnym. Nie można było określić liczby połączeń przypisanych do konkretnego obserwowanego ptaka podczas każdego eksperymentu, ale możliwe było zliczenie liczby ptaków, które przyczyniły się do liczby zarejestrowanych połączeń. Stąd moja początkowa sugestia polegała na uwzględnieniu liczby …

9 generalized-linear-model count-data offset