Statystyki i duże zbiory danych

3

Dlaczego liczba ciągłych zmiennych jednolitych na (0,1) potrzebnych do ich sumy przekraczającej jedną ma średnią ?

strumień zmiennych losowych, ; niech będzie liczbą warunków, których potrzebujemy, aby suma przekroczyła jeden, tj. jest najmniejszą liczbą taką, żeXi∼iidU(0,1)Xi∼iidU(0,1)X_i \overset{iid}\sim \mathcal{U}(0,1)YYYYYY X1+X2+⋯+XY>1.X1+X2+⋯+XY>1.X_1 + X_2 + \dots + X_Y > 1. Dlaczego średnia równa stałej Eulera ?YYYeee E(Y)=e=10!+11!+12!+13!+…E(Y)=e=10!+11!+12!+13!+…\mathbb{E}(Y) = e = \frac{1}{0!} + \frac{1}{1!} + \frac{1}{2!} + \frac{1}{3!} + \dots

14 probability self-study expected-value uniform

2

Wnioskowanie statystyczne przy błędnym określeniu

Klasyczne podejście wnioskowania statystycznego opiera się na założeniu, że istnieje poprawnie określona statystyka. Oznacza to, że rozkład P∗(Y)P∗(Y)\mathbb{P}^*(Y) który wygenerował zaobserwowane dane yyy jest częścią modelu statystycznego : MM\mathcal{M}P∗(Y)∈M={Pθ(Y):θ∈Θ}P∗(Y)∈M={Pθ(Y):θ∈Θ}\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\}Jednak w w większości sytuacji nie możemy zakładać, że to naprawdę prawda. Zastanawiam się, co stanie się …

14 hypothesis-testing confidence-interval model frequentist misspecification

1

Jakie jest znaczenie wektorów własnych wzajemnej matrycy informacji?

Patrząc na wektory własne macierzy kowariancji, otrzymujemy kierunki maksymalnej wariancji (pierwszy wektor własny to kierunek, w którym dane najbardziej się różnią itp.); nazywa się to analizą głównych składników (PCA). Zastanawiałem się, co to znaczy spojrzeć na wektory własne / wartości matrycy wzajemnej informacji, czy wskazywałyby one w kierunku maksymalnej entropii?

14 pca entropy mutual-information eigenvalues

1

Różnica między średnim a marginalnym efektem leczenia

Czytałem kilka artykułów i nie jestem pewien na temat szczegółowych definicji średniego efektu leczenia (ATE) i marginalnego efektu leczenia (MTE). Czy oni są tacy sami? Według Austina ... Efekt warunkowy to średni efekt na poziomie podmiotu przeniesienia pacjenta z nieleczonego na leczony. Współczynnik regresji dla zmiennej wskaźnika przypisania leczenia z …

14 causality hazard propensity-scores marginal-effect marginal-model

3

Głębokie sieci neuronowe - tylko do klasyfikacji obrazów?

Wszystkie przykłady, które znalazłem przy użyciu głębokiej wiary lub splotowych sieci neuronowych, wykorzystują je do klasyfikacji obrazu, wykrywania czatu lub rozpoznawania mowy. Czy głębokie sieci neuronowe są również przydatne w przypadku klasycznych zadań regresyjnych, w których cechy nie są ustrukturyzowane (np. Nie są ułożone w sekwencji lub siatce)? Jeśli tak, …

14 regression machine-learning neural-networks deep-learning

3

Jak przeprowadzić rozbudowę danych i rozdzielić walidację pociągu?

Dokonuję klasyfikacji obrazów przy użyciu uczenia maszynowego. Załóżmy, że mam pewne dane treningowe (obrazy) i podzielę dane na zestawy szkoleniowe i walidacyjne. Chcę też rozszerzyć dane (tworzyć nowe obrazy z oryginalnych) przez losowe obroty i wstrzykiwanie szumu. Augmentacja odbywa się offline. Jaki jest właściwy sposób na powiększanie danych? Najpierw podziel …

14 machine-learning classification cross-validation dataset data-augmentation

4

Podręczniki / lektury na temat tego, co robić, gdy nie można stworzyć idealnego eksperymentu?

Mój trening statystyczny jest zakorzeniony w statystykach matematycznych, a przyjmowanie tych metod w moim stwardnieniu rozsianym jest w tej chwili trochę szokiem; obecnie trudno mi zrozumieć niektóre z tych „stosowanych” metod, ponieważ brakuje mi doświadczenia w branży. Jednym z tematów, o których mówiliśmy w moich klasach metod, jest koncepcja eksperymentalnego …

14 references experiment-design

1

Zrozumienie regresji procesu Gaussa poprzez nieskończony wymiarowy widok funkcji bazowej

Często mówi się, że regresja procesu gaussowskiego odpowiada (GPR) bayesowskiej regresji liniowej z (być może) nieskończoną ilością funkcji bazowych. Obecnie staram się to szczegółowo zrozumieć, aby uzyskać intuicję, jakie modele mogę wyrazić za pomocą GPR. Czy uważasz, że to dobre podejście do zrozumienia GPR? W książce Procesy gaussowskie dla uczenia …

14 gaussian-process kernel-trick basis-function

5

Ścieżka do statystyki matematycznej bez tła analizy: idealny podręcznik do samodzielnej nauki

Jestem dość matematycznie skłonny - miałem 6 semestrów matematyki na studiach licencjackich - chociaż jestem trochę poza praktyką i powolny, powiedzmy, częściowe równania różniczkowe i całki ścieżkowe, moje koncepcje wracają z odrobiną praktyki. Nie miałem kursu na dowodach matematycznych (myślenie matematyczne) ani na analizie. Rozumiem również prawdopodobieństwo ukończenia studiów wyższych …

14 mathematical-statistics references

3

Jakie są szybkie algorytmy obliczania skróconego SVD?

Ewentualnie od tematu tutaj, ale istnieje kilka ( jeden , dwa ) pytania związane już. Grzebanie w literaturze (lub wyszukiwanie google za pomocą Skróconych algorytmów SVD) ujawnia wiele artykułów, które wykorzystują obcięte SVD na różne sposoby i twierdzą (frustrujące, często bez cytowania), że istnieją szybkie algorytmy do ich obliczania, ale …

14 algorithms svd numerics

2

Próbkowanie z dystrybucji von Misesa-Fishera w Pythonie?

Szukam prostego sposobu na pobranie próbki z wielowymiarowej dystrybucji von Misesa-Fishera w Pythonie. Mam spojrzał w statystyki modułu w scipy i modułem numpy ale tylko znaleźć jednoczynnikowej dystrybucję von Misesa. Czy jest dostępny kod? Jeszcze nie znalazłem Najwyraźniej Wood (1994) opracował algorytm próbkowania z rozkładu vMF zgodnie z tym linkiem …

14 distributions sampling python

2

Przekształcanie danych: wszystkie zmienne czy tylko niestandardowe?

W odkrywaniu statystyk Andy Fielda za pomocą SPSS stwierdza, że wszystkie zmienne muszą zostać przekształcone. Jednak w publikacji: „Badanie zróżnicowanych przestrzennie zależności między użytkowaniem gruntów a jakością wody przy użyciu regresji ważonej geograficznie I: Projektowanie i ocena modelu” wyraźnie stwierdzają, że transformowane były tylko zmienne niestandardowe. Czy ta analiza jest …

14 normal-distribution data-transformation

3

Jak mogę programowo wykryć segmenty serii danych, aby pasowały do różnych krzywych?

Czy istnieją udokumentowane algorytmy rozdzielające sekcje danego zestawu danych na różne krzywe najlepszego dopasowania? Na przykład większość ludzi patrząc na ten wykres danych z łatwością podzieliłby go na 3 części: odcinek sinusoidalny, odcinek liniowy i odwrotny odcinek wykładniczy. W rzeczywistości zrobiłem ten konkretny z sinusoidą, linią i prostą formułą wykładniczą. …

14 fitting curve-fitting segmentation

3

Założenia do uzyskania estymatora OLS

Czy ktoś może mi krótko wyjaśnić, dlaczego każde z sześciu założeń jest potrzebne do obliczenia estymatora OLS? Odkryłem tylko o wielokoliniowości - że jeśli istnieje, nie możemy odwrócić macierzy (X'X), a tym samym oszacować ogólny estymator. A co z innymi (np. Liniowość, błędy o wartości zero, itp.)?

14 least-squares assumptions

3

utrata zawiasów a zalety i wady logistyczne strat

Utratę zawiasu można zdefiniować za pomocą a utratę logu można zdefiniować jako log ( 1 + exp ( - y i w T x i ) )max ( 0 , 1 - yjawT.xja)max(0,1-yjawT.xja)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - yjawT.xja) )log(1+exp⁡(-yjawT.xja))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) Mam następujące pytania: Czy są jakieś wady …

14 machine-learning svm loss-functions computer-vision