Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

1
Wariacyjne Bayes w połączeniu z Monte Carlo
Czytam o wariacyjnych Bayesach i, jak rozumiem, sprowadza się to do pomysłu, który przybliżasz p ( z∣ x )p(z∣x)p(z\mid x) (gdzie zzz są ukrytymi zmiennymi twojego modelu i xxx dane obserwowane) z funkcją q( z)q(z)q(z), przyjmując, że qqq faktoryzuje jako qja(zja)qi(zi)q_i(z_i) gdzie ziziz_ijest podzbiorem ukrytych zmiennych. Następnie można wykazać, że …
1
Pochodna utraty entropii krzyżowej w word2vec
Próbuję przejść przez pierwszy zestaw problemów z materiałem do kursu online cs224d klasy Stanford i mam pewne problemy z problemem 3A: Używając modelu pomiń gram word2vec z funkcją przewidywania softmax i funkcją utraty entropii krzyżowej, my chcę obliczyć gradienty w stosunku do przewidywanych wektorów słów. Biorąc pod uwagę funkcję softmax: …
2
Trendy wskaźnika przeżycia w badaniach kontrolnych
Złożyłem artykuł, który został odrzucony z powodu niewłaściwego sposobu przeprowadzenia analizy przeżycia. Sędzia nie pozostawił żadnych innych szczegółów ani wyjaśnień poza: „analiza przetrwania trendów czasowych wymaga bardziej wyrafinowanych sposobów cenzury”. Pytanie: Czy w ostatnich dziesięcioleciach zmniejszono nadmierne ryzyko śmierci wśród palaczy? Dane: 25.000 palaczy w Niemczech. Zostali oni zapisani do …
1
Czy ta interpretacja rzadkości jest dokładna?
Zgodnie z dokumentacją removeSparseTermsfunkcji z tmpakietu, to jest to, co wiąże się z rzadkością: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms with …
6
Jak odczytuje się zapis ?
Jak odczytuje się zapis ? Czy następuje rozkład normalny? Czy jest rozkładem normalnym? A może jest w przybliżeniu normalny ..X∼N(μ,σ2)X∼N(μ,σ2)X\sim N(\mu,\sigma^2)XXX XXX XXX Co się stanie, jeśli istnieje kilka zmiennych, które następują (lub jakikolwiek jest ten wyraz) w tym samym rozkładzie? Jak to jest napisane?
3
Identyfikacja przefiltrowanych funkcji po wybraniu funkcji za pomocą scikit learn
Oto mój kod metody wyboru funkcji w Pythonie: from sklearn.svm import LinearSVC from sklearn.datasets import load_iris iris = load_iris() X, y = iris.data, iris.target X.shape (150, 4) X_new = LinearSVC(C=0.01, penalty="l1", dual=False).fit_transform(X, y) X_new.shape (150, 3) Ale po uzyskaniu nowego X (zmienna zależna - X_new), skąd mam wiedzieć, które zmienne …
2
Co to jest „parametr komponentu wariancji” w modelu efektu mieszanego?
Na stronie 12 książki Batesa o modelu efektu mieszanego opisuje ten model w następujący sposób: Pod koniec zrzutu ekranu wspomina o względny współczynnik kowariancji , w zależności od parametru wariancji-komponentu ,ΛθΛθ\Lambda_{\theta}θθ\theta bez wyjaśnienia, jaki dokładnie jest związek. Powiedzmy, że otrzymujemy , jak moglibyśmy uzyskać z niej ?θθ\thetaΛθΛθ\Lambda_{\theta} W powiązanej nucie …
1
Krzyżowa walidacja regresji lasso w R
Funkcja R cv.glm (biblioteka: boot) oblicza szacowany błąd prognozy krotności K-krotności dla uogólnionych modeli liniowych i zwraca deltę. Czy warto używać tej funkcji do regresji lasso (biblioteka: glmnet), a jeśli tak, to w jaki sposób można ją przeprowadzić? Biblioteka glmnet używa weryfikacji krzyżowej, aby uzyskać najlepszy parametr zwrotny, ale nie …
1
Testowanie istotności współczynnika Sharpe'a
Jaki jest właściwy sposób przetestowania znaczenia wskaźników Sharpe'a lub wskaźników informacyjnych? Wskaźniki Sharpe'a będą oparte na różnych indeksach akcji i mogą mieć zmienne okresy retrospekcji. Jedno z opisanych przeze mnie rozwiązań po prostu stosuje test t Studenta, z ustawieniem df na długość okresu wstecznego. Waham się przed zastosowaniem powyższej metody …
1
Dlaczego oceny głównych składników nie są skorelowane?
Przypuśćmy, że jest macierzą danych skoncentrowanych na średnich. Macierz ma , ma różne wartości własne, a wektory własne , \ mathbf s_2 ... \ mathbf s_m , które są ortogonalne.ZAA\mathbf AS =cov( A )S=cov(A)\mathbf S=\text{cov}(\mathbf A)m × mm×mm\times mmmms1s1\mathbf s_1s2)s2\mathbf s_2smsm\mathbf s_m -tego główny składnik (niektórzy nazywają je "wyniki") jest …
2
Co to jest kubizacja?
Chodziłem dookoła, by znaleźć jasne wytłumaczenie „kubalizacji” w uczeniu maszynowym bez powodzenia. Jak dotąd rozumiem, że kubetyzacja jest podobna do kwantyzacji w cyfrowym przetwarzaniu sygnału, w którym zakres ciągłych wartości jest zastępowany jedną dyskretną wartością. Czy to jest poprawne? Jakie są zalety i wady (oprócz oczywistego wpływu utraty informacji) stosowania …
2
Zagnieżdżona walidacja krzyżowa - czym różni się od wyboru modelu poprzez CV Kfold na zestawie treningowym?
Często widzę ludzi mówiących o walidacji krzyżowej 5x2 jako szczególnym przypadku walidacji krzyżowej zagnieżdżonej . Zakładam, że pierwsza liczba (tutaj: 5) odnosi się do liczby fałd w wewnętrznej pętli, a druga liczba (tutaj: 2) odnosi się do liczby fałd w zewnętrznej pętli? Czym zatem różni się to od „tradycyjnego” podejścia …
2
Różnica między PCA a grupowaniem widmowym dla małego zestawu próbek cech logicznych
Mam zestaw danych 50 próbek. Każda próbka składa się z 11 (prawdopodobnie skorelowanych) cech logicznych. Chciałbym przedstawić, w jaki sposób wizualizować te próbki na wykresie 2D i sprawdzić, czy wśród 50 próbek znajdują się klastry / grupy. Wypróbowałem następujące dwa podejścia: (a) Uruchom PCA na matrycy 50x11 i wybierz pierwsze …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.