Statystyki i duże zbiory danych

1

Dlaczego błąd „szacunkowa korekta” a „NA” jest generowany z pakietu rozruchowego R podczas obliczania przedziałów ufności przy użyciu metody bca?

Mam wektor liczb, które przesłałem tutaj (... / code / MyData.Rdata) przy użyciu dput. Chciałbym dostać bca ci, więc napisałem ten kod: my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) Ale gdy uruchomię następujące, otrzymuję to: > boot.ci(boot.out) Error in bca.ci(boot.out, conf, index[1L], …

14 r bootstrap

3

Wydajna obliczeniowo estymacja trybu wielowymiarowego

Wersja skrócona: Jaka jest najbardziej wydajna obliczeniowo metoda szacowania trybu wielowymiarowego zestawu danych, próbkowanego z ciągłego rozkładu? Wersja długa: Mam zestaw danych, który muszę oszacować dla trybu. Tryb nie pokrywa się ze średnią lub medianą. Przykład pokazano poniżej, jest to przykład 2D, ale rozwiązanie ND byłoby lepsze: Obecnie moją metodą …

14 estimation multivariate-analysis continuous-data mode

2

Szacowanie prawdopodobieństwa przeżycia w R

Na podstawie próby czasów przeżycia chciałbym oszacować prawdopodobieństwo przeżycia czasu dla pewnego określonego za pomocą estymatora Kaplana-Meiera. Czy można to zrobić w ? Pamiętaj, że nie musi być czasem zdarzenia.nnnttttttRttt

14 r kaplan-meier

1

Czy jednostronne przedziały ufności mają 95% zasięgu

Zastanawiałem się, czy przy założeniu jednostronnej (jednostronnej) hipotezy o poziomie alfa: .05czy możemy mówić o 95% przedziałach ufności? Na przykład, czy możemy skonstruować osobno „jednostronne” i „dwustronne” przedziały ufności dla jednostronnego testu Z lub t? jaka byłaby „interpretacja” każdego z tych przedziałów ufności, biorąc pod uwagę jednostronny test? Jestem trochę …

14 hypothesis-testing confidence-interval

2

Klasyfikacja z głośnymi etykietami?

Próbuję wytrenować sieć neuronową do klasyfikacji, ale etykiety, które mam, są raczej hałaśliwe (około 30% etykiet jest błędnych). Strata między entropią rzeczywiście działa, ale zastanawiałem się, czy są jakieś alternatywy bardziej skuteczne w tym przypadku? czy utrata przez entropię jest optymalna? Nie jestem pewien, ale myślę o pewnym „przycięciu” utraty …

14 machine-learning neural-networks loss-functions noise

4

Czy można zastosować średni błąd kwadratowy do klasyfikacji?

Znam formułę średniej kwadratowej błędu i jak ją obliczyć. Kiedy mówimy o regresji, możemy obliczyć średni błąd kwadratu. Czy jednak możemy porozmawiać o MSE dla problemu klasyfikacji i jak go obliczyć?

14 classification error

2

Test U Manna-Whitneya z nierównymi wielkościami próbek

Mam dwie nierówne grupy (94 i 52) i chcę przeprowadzić test U Manna-Whitneya, aby sprawdzić, czy ich wyniki na mierzonej zmiennej różnią się. Widzę, że Kruskall-Wallis jest w porządku, czy to samo dotyczy Manna-Whitneya?

14 sample-size wilcoxon-mann-whitney

2

Jak trenuje się warstwę osadzania w warstwie Osadzanie Keras

Jak trenuje się warstwę osadzania w warstwie osadzania Keras? (powiedzmy, używając backendu tensorflow, co oznacza, że jest podobny do word2vec, glove lub fasttext) Załóżmy, że nie stosujemy wstępnego przeszkolenia.

14 deep-learning keras word-embeddings

3

Uniwersalne twierdzenie o aproksymacji dla sieci splotowych

Twierdzenie o uniwersalnej aproksymacji jest dość znanym wynikiem dla sieci neuronowych, mówiąc w zasadzie, że przy niektórych założeniach funkcja może być jednolicie aproksymowana przez sieć neuronową z dowolną dokładnością. Czy istnieje jakiś analogiczny wynik, który stosuje się do splotowych sieci neuronowych?

14 neural-networks conv-neural-network approximation

4

Intuicyjne zrozumienie różnicy między konsekwentnym a asymptotycznie bezstronnym

Staram się uzyskać intuicyjne zrozumienie i wyczuć różnicę i praktyczną różnicę między terminem spójnym a asymptotycznie bezstronnym. Znam ich matematyczne / statystyczne definicje, ale szukam czegoś intuicyjnego. Dla mnie, patrząc na ich indywidualne definicje, prawie wydają się być tym samym. Zdaję sobie sprawę, że różnica musi być subtelna, ale po …

14 bias convergence unbiased-estimator asymptotics intuition

4

Sieć neuronowa do regresji wielokrotnego wyjścia

Mam zestaw danych zawierający 34 kolumny wejściowe i 8 kolumn wyjściowych. Jednym ze sposobów rozwiązania tego problemu jest pobranie 34 danych wejściowych i zbudowanie indywidualnego modelu regresji dla każdej kolumny wyjściowej. Zastanawiam się, czy ten problem można rozwiązać za pomocą tylko jednego modelu, szczególnie za pomocą sieci neuronowej. Użyłem perceptronu …

14 neural-networks deep-learning multivariate-regression

2

Jaki jest rozkład przykładowych środków rozkładu Cauchyego?

Zazwyczaj, gdy pobiera się losowe średnie próbki rozkładu (przy wielkości próbki większej niż 30), uzyskuje się rozkład normalny ześrodkowywany wokół wartości średniej. Słyszałem jednak, że rozkład Cauchy'ego nie ma żadnej wartości średniej. Jaki rozkład uzyskuje się wtedy, gdy uzyskuje się przykładowe środki rozkładu Cauchy'ego? Zasadniczo dla rozkładu Cauchy jest niezdefiniowany, …

14 cauchy

1

Interpretacja wyników .L i .Q z ujemnego dwumianowego GLM z danymi kategorialnymi

Właśnie uruchomiłem ujemny dwumianowy GLM i to jest wynik: Call: glm.nb(formula = small ~ method + site + depth, data = size.dat, init.theta = 1.080668549, link = log) Deviance Residuals: Min 1Q Median 3Q Max -2.2452 -0.9973 -0.3028 0.3864 1.8727 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 1.6954 0.1152 …

14 r categorical-data generalized-linear-model interpretation negative-binomial

3

Dlaczego iloraz szans z formuły i testu rybaka R. różnią się? Który wybrać?

W poniższym przykładzie > m = matrix(c(3, 6, 5, 6), nrow=2) > m [,1] [,2] [1,] 3 5 [2,] 6 6 > (OR = (3/6)/(5/6)) #1 [1] 0.6 > fisher.test(m) #2 Fisher's Exact Test for Count Data data: m p-value = 0.6699 alternative hypothesis: true odds ratio is not equal …

14 r odds-ratio fishers-exact

1

Czy regresja logistyczna maksymalizująca prawdopodobieństwo niekoniecznie maksymalizuje AUC w porównaniu z modelami liniowymi?

Biorąc pod uwagę zestaw danych z wynikami binarnymi i pewną macierzą predykcyjną , standardowy model regresji logistycznej szacuje współczynniki które maksymalizują prawdopodobieństwo dwumianowe. Gdy ma pełną pozycję, jest unikalny; gdy nie ma doskonałej separacji, jest skończona.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Czy ten model maksymalnego prawdopodobieństwa maksymalizuje AUC ROC (aka statystyka), czy też istnieje …

13 logistic maximum-likelihood auc