Statystyki i duże zbiory danych

2

Ile razy powinniśmy powtarzać K-fold CV?

Natknąłem się na ten wątek, patrząc na różnice między ładowaniem początkowym a weryfikacją krzyżową - przy okazji, świetna odpowiedź i referencje. Zastanawiam się teraz, czy gdybym powtórzył 10-krotne CV, aby obliczyć dokładność klasyfikatora, ile razy n powinienem to powtórzyć? Czy n zależy od liczby fałd? Na wielkości próbki? Czy jest …

18 cross-validation

2

Jak przewidzieć lub rozszerzyć linie regresji w ggplot2?

Mam ramkę danych, która zawiera dwie serie czasowe: daty i numery wersji wydań Emacs i Firefox. Za pomocą jednego polecenia ggplot2 łatwo jest utworzyć wykres, który używa less (w sposób, który wygląda nieco zabawnie, co nie mam nic przeciwko), aby zamieniać punkty w linie. Jak mogę przedłużyć linie w przyszłości? …

18 prediction ggplot2

1

Dlaczego rozbieżność KL jest nieujemna?

Dlaczego dywergencja KL nie jest ujemna? Z punktu widzenia teorii informacji rozumiem tak intuicyjnie: Powiedzmy, że istnieją dwa zespoły AAA i BBB które składają się z tego samego zestawu elementów oznaczonych xxx . p(x)p(x)p(x) i q(x)q(x)q(x) są różne rozkłady prawdopodobieństwa ponad zespołem AAA i BBB , odpowiednio. Z punktu widzenia …

18 information-theory kullback-leibler

2

Ważność funkcji w przypadku zmiennych zastępczych

Próbuję zrozumieć, w jaki sposób mogę uzyskać znaczenie funkcji zmiennej jakościowej, która została podzielona na zmienne fikcyjne. Używam scikit-learn, który nie obsługuje zmiennych kategorialnych tak jak R lub H2O. Jeśli podzielę zmienną kategorialną na zmienne pozorne, otrzymam osobne importy cech dla każdej klasy w tej zmiennej. Moje pytanie brzmi: czy …

18 categorical-data random-forest interpretation importance

3

Jak systematycznie usuwać zmienne współliniowe w Pythonie? [Zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 2 lata temu . Do tej pory usunąłem zmienne współliniowe w ramach procesu przygotowania danych, patrząc na tabele korelacji i eliminując zmienne, które przekraczają pewien …

18 python multicollinearity scikit-learn

1

Jakie są zalety jądra PCA w porównaniu ze standardowym PCA?

Chcę zaimplementować algorytm w dokumencie, który używa jądra SVD do dekompozycji macierzy danych. Czytałem więc materiały na temat metod jądra i PCA jądra itp. Ale wciąż jest to dla mnie bardzo niejasne, szczególnie jeśli chodzi o szczegóły matematyczne, i mam kilka pytań. Dlaczego metody jądra? Lub jakie są zalety metod …

18 pca svd kernel-trick

3

ROC vs Krzywe precyzji przywoływania w niezrównoważonym zbiorze danych

Właśnie skończyłem czytać tę dyskusję. Twierdzą, że PR AUC jest lepszy niż ROC AUC w niezrównoważonym zbiorze danych. Na przykład mamy 10 próbek w zestawie danych testowych. 9 próbek jest pozytywnych, a 1 ujemna. Mamy okropny model, który przewiduje wszystko pozytywnie. Będziemy zatem mieć miarę, że TP = 9, FP …

18 machine-learning model-selection roc unbalanced-classes precision-recall

2

Co powoduje nagłe spadki błędów treningu / błędów podczas szkolenia sieci neuronowej?

Widziałem wykresy błędu testu / treningu nagle spadające kilka razy w pewnej epoce (ach) podczas treningu sieci neuronowej i zastanawiam się, co powoduje te skoki wydajności: To zdjęcie pochodzi z Kaiming Jest Githubem, ale podobne wątki pojawiają się w wielu artykułach.

18 conv-neural-network

3

Testowanie losowo generowanych danych pod kątem zamierzonego rozkładu

Napisałem program, który generuje losowe dane. Jeśli program działa poprawnie, dane powinny mieć określony, znany rozkład prawdopodobieństwa. Chciałbym uruchomić program, wykonać obliczenia wyniku i podać wartość p. Zanim ktokolwiek to powie: rozumiem, że testowanie hipotez nie może wykryć, kiedy program działa poprawnie. Może wykryć tylko, gdy działa nieprawidłowo w określony …

17 distributions hypothesis-testing random-generation

2

kategoryzacja zmiennej zmienia ją z nieznacznej na znaczącą

Mam zmienną numeryczną, która okazuje się nieistotna w wielowymiarowym modelu regresji logistycznej. Kiedy jednak podzielę go na grupy, nagle staje się znaczący. Jest to dla mnie bardzo sprzeczne z intuicją: kategoryzując zmienną, podajemy pewne informacje. Jak to może być?

17 regression logistic statistical-significance multivariate-analysis

1

Dlaczego w 8 szkolnym przykładzie Gelmana znany jest błąd standardowy szacunku indywidualnego?

Kontekst: W 8-szkolnym przykładzie Gelmana (analiza danych bayesowskich, wydanie 3, rozdz. 5.5) istnieje osiem równoległych eksperymentów w 8 szkołach testujących efekt coachingu. Każdy eksperyment daje oszacowanie skuteczności coachingu i związanego z nim błędu standardowego. Następnie autorzy budują model hierarchiczny dla 8 punktów danych efektu coachingu w następujący sposób: yi∼N(θi,sei)θi∼N(μ,τ)yi∼N(θi,sei)θi∼N(μ,τ) y_i …

17 bayesian hierarchical-bayesian

1

Krokowy AIC - czy wokół tego tematu istnieją kontrowersje?

Przeczytałem niezliczoną liczbę postów na tej stronie, które są niezwykle przeciwne stosowaniu stopniowego wyboru zmiennych przy użyciu dowolnego kryterium, niezależnie od tego, czy będzie to oparte na wartościach p, AIC, BIC itp. Rozumiem, dlaczego te procedury są ogólnie dość kiepskie w doborze zmiennych. Prawdopodobnie słynny post Gunga jasno ilustruje dlaczego; …

17 forecasting predictive-models arima aic stepwise-regression

2

Dlaczego wybrano literę Q w Q-learningu?

Dlaczego litera Q została wybrana w imieniu Q-learningu? Większość liter jest wybieranych jako skrót, na przykład oznacza ππ\pistrategię, a vvv oznacza wartość. Ale nie sądzę, że Q jest skrótem dowolnego słowa.

17 terminology reinforcement-learning history q-learning

3

Jak można uzyskać dobry model regresji liniowej, gdy nie ma istotnej korelacji między wynikiem a predyktorami?

Przeszkoliłem model regresji liniowej, używając zestawu zmiennych / cech. A model ma dobrą wydajność. Zrozumiałem jednak, że nie ma zmiennej o dobrej korelacji z przewidywaną zmienną. Jak to jest możliwe?

17 regression machine-learning correlation multiple-regression linear-model

2

LASSO i grzbiet z perspektywy Bayesa: co z parametrem strojenia?

Mówi się, że estymatory regresji karnej, takie jak LASSO i kalenica, odpowiadają estymatorom bayesowskim z pewnymi priorytetami. Wydaje mi się (ponieważ nie wiem wystarczająco dużo na temat statystyki bayesowskiej), że dla ustalonego parametru strojenia istnieje konkretny wcześniejszy odpowiednik. Teraz częsty optymalizowałby parametr strojenia poprzez krzyżową weryfikację. Czy istnieje odpowiednik bayesowski …

17 bayesian lasso ridge-regression