Statystyki i duże zbiory danych

4

Dlaczego centralne twierdzenie graniczne załamuje się w mojej symulacji?

Powiedzmy, że mam następujące liczby: 4,3,5,6,5,3,4,2,5,4,3,6,5 Próbkuję niektóre z nich, powiedzmy 5 z nich, i obliczam sumę 5 próbek. Następnie powtarzam to w kółko, aby uzyskać wiele sum, i wykreślam wartości sum w histogramie, który będzie gaussowski z powodu twierdzenia o granicy centralnej. Ale kiedy podążają za liczbami, właśnie zastąpiłem …

21 central-limit-theorem

4

Po co zgłaszać statystyki opisowe?

Właśnie przeprowadziłem analizę moich danych przy użyciu regresji logistycznej, ale w raporcie muszę też mieć opisową część dotyczącą statystyki. Naprawdę nie rozumiem w tym sensu i miałem nadzieję, że ktoś może wyjaśnić, dlaczego jest to konieczne. Na przykład, jeśli wykreślę histogram jednej z moich niezależnych zmiennych ciągłych, która pokazuje normalność …

21 descriptive-statistics reporting

1

t-SNE kontra MDS

Czytałem ostatnio kilka pytań na temat t-SNE ( t-Distributed Stochastic Neighbor Embedding ), a także odwiedziłem kilka pytań na temat MDS ( skalowanie wielowymiarowe ). Często stosuje się je analogicznie, więc wydaje się, że dobrym pomysłem jest sprawienie, by pytanie zawierało wiele pytań oddzielnie (lub w porównaniu do PCA ). …

21 data-visualization dimensionality-reduction multidimensional-scaling tsne

1

Utajona interpretacja zmiennych uogólnionych modeli liniowych (GLM)

Krótka wersja: Wiemy, że regresję logistyczną i regresję probitową można interpretować jako obejmującą ciągłą zmienną ukrytą, która jest dyskretyzowana według pewnego ustalonego progu przed obserwacją. Czy dostępna jest podobna interpretacja zmiennej ukrytej dla, powiedzmy, regresji Poissona? Co powiesz na regresję dwumianową (np. Logit lub probit), gdy występują więcej niż dwa …

21 logistic generalized-linear-model poisson-regression probit latent-variable

2

Ograniczona maszyna Boltzmanna: jak jest używana w uczeniu maszynowym?

Tło: Tak, Restricted Boltzmann Machine (RBM) MOŻE być użyty do zainicjowania obciążeń sieci neuronowej. MOŻE być również użyty w sposób „warstwa po warstwie” do zbudowania głębokiej sieci przekonań (to znaczy do trenowania tej warstwy na szczycie -tej warstwy, a następnie do trenowania warstwa na górze tej warstwy, spłucz i powtórz …

21 machine-learning neural-networks deep-learning deep-belief-networks rbm

4

Czy można wykorzystać algorytmy uczenia maszynowego lub uczenia głębokiego do „usprawnienia” procesu próbkowania techniki MCMC?

Opierając się na małej wiedzy, którą mam na temat metod MCMC (łańcuch Markowa Monte Carlo), rozumiem, że pobieranie próbek jest kluczową częścią wyżej wspomnianej techniki. Najczęściej stosowanymi metodami próbkowania są Hamiltonian i Metropolis. Czy istnieje sposób wykorzystania uczenia maszynowego, a nawet uczenia głębokiego w celu stworzenia bardziej wydajnego samplera MCMC?

21 machine-learning mcmc monte-carlo markov-process

7

Czy ktoś może wyjaśnić różnicę między niezależnym a losowym?

Czy w statystyce niezależne i losowe opisują te same cechy? Jaka jest różnica między nimi? Często spotykamy się z opisem takim jak „dwie niezależne zmienne losowe” lub „losowe próbkowanie”. Zastanawiam się, jaka jest dokładnie różnica między nimi. Czy ktoś może to wyjaśnić i podać kilka przykładów? na przykład proces niezależny, …

21 distributions sampling randomness

4

Różnica między założeniami leżącymi u podstaw korelacji a regresywnymi testami nachylenia istotności

Moje pytanie wyrosło z dyskusji z @whuber w komentarzach do innego pytania . W szczególności komentarz @whuber był następujący: Jednym z powodów, dla których może cię zaskoczyć, jest to, że założenia leżące u podstaw testu korelacji i testu nachylenia regresji są różne - więc nawet jeśli rozumiemy, że korelacja i …

21 regression correlation p-value assumptions

5

Co sprawia, że znaczenie niektórych dystrybucji jest niezdefiniowane?

Wiele plików PDF ma zakres od minus do dodatniej nieskończoności, ale niektóre środki są zdefiniowane, a niektóre nie. Jaka wspólna cecha sprawia, że niektóre są obliczalne?

21 distributions mean

5

Przekroczenie: Brak srebrnej kuli?

Rozumiem, że nawet przy przestrzeganiu odpowiednich procedur walidacji krzyżowej i wyboru modelu, nadmierne dopasowanie nastąpi, jeśli ktoś będzie szukał wystarczająco modelu , chyba że nałoży ograniczenia na złożoność modelu, okres. Co więcej, często ludzie próbują nauczyć się kar za złożoność modelu na podstawie danych, które podważają ochronę, którą mogą zapewnić. …

21 machine-learning cross-validation goodness-of-fit scikit-learn caret

3

Dlaczego dystrybucja logistyczna nazywa się „logistyczna”?

Czym jest „logistyka” w dystrybucji logistyki, w zdrowym rozsądku? Jaka jest etymologia i leksykalne uzasadnienie nazwy, a nie tylko czystej definicji matematycznej?

21 terminology history etymology logistic-curve logistic-distribution

3

Czy możliwe jest zejście gradientu dla SVM w jądrze (jeśli tak, to dlaczego ludzie używają programowania kwadratowego)?

Dlaczego ludzie używają technik programowania kwadratowego (takich jak SMO) podczas obsługi SVM z jądrem? Co jest nie tak z Gradient Descent? Czy nie jest możliwe używanie go z jądrem, czy jest to po prostu zbyt wolne (i dlaczego?). Oto nieco więcej kontekstu: starając się lepiej zrozumieć SVM, użyłem Gradient Descent …

21 svm kernel-trick gradient-descent

4

„Częściowo nadzorowane uczenie się” - czy to jest zbyt dobre?

Czytałem raport o zwycięskim rozwiązaniu konkursu Kaggle ( klasyfikacja złośliwego oprogramowania ). Raport można znaleźć w tym poście na forum . Problemem był problem z klasyfikacją (dziewięć klas, metryką była strata logarytmiczna) ze 10000 elementami w zestawie pociągów, 10000 elementów w zestawie testowym. Podczas zawodów modele były oceniane w stosunku …

21 machine-learning random-forest boosting overfitting semi-supervised

2

Zwiększenie sieci neuronowych

Niedawno pracowałem nad uczeniem się algorytmów wzmacniających, takich jak adaboost, zwiększanie gradientu i wiedziałem, że najczęściej używanym słabym uczniem są drzewa. Naprawdę chcę wiedzieć, czy istnieją pewne udane przykłady (mam na myśli kilka artykułów lub artykułów) wykorzystania sieci neuronowych jako podstawowego ucznia.

21 neural-networks deep-learning boosting ensemble dropout

2

Dodawanie wag do regresji logistycznej w przypadku niezrównoważonych danych

Chcę modelować regresję logistyczną z niezrównoważonymi danymi (9: 1). Chciałem wypróbować opcję wag w glmfunkcji w R, ale nie jestem w 100% pewien, co ona robi. Powiedzmy, że moja zmienna wyjściowa to c(0,0,0,0,0,0,0,0,0,1). teraz chcę nadać „1” 10-krotnie większą wagę. więc podaję argument wagi weights=c(1,1,1,1,1,1,1,1,1,1,1,10). Gdy to zrobię, zostanie to …

21 regression logistic classification unbalanced-classes weighted-data