Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

3
Dlaczego warto korzystać z opadania gradientu w sieciach neuronowych?
Podczas uczenia sieci neuronowej za pomocą algorytmu propagacji wstecznej do określenia aktualizacji masy używana jest metoda opadania gradientu. Moje pytanie brzmi: Zamiast używać metody opadania gradientu, aby powoli zlokalizować punkt minimalny w odniesieniu do określonej masy, dlaczego nie ustawimy po prostu pochodnej i znaleźć wartość masyw,która minimalizuje błąd?d(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0www Ponadto, dlaczego …
2
Czy powinienem używać litery „N” w „Normal Distribution” w brytyjskim angielskim?
To pytanie jest trochę lewe, ale pomyślałem, że społeczność tutaj prawdopodobnie ma mocne poglądy na ten temat! Piszę pracę doktorską. Konsekwentnie, mówiąc o wielkościach formalnie powiązanych z rozkładem Gaussa, użyłem litery „N” w „Normalnym”, aby się do nich odnieść. Na przykład „[... W takich okolicznościach] wynikowy rozkład nie jest normalny, …
1
Używanie korelacji jako miary odległości (dla hierarchicznego grupowania)
Chciałbym zhierarchizować moje dane, ale zamiast korzystać z odległości euklidesowej, chciałbym zastosować korelację. Ponadto, ponieważ współczynnik korelacji wynosi od -1 do 1, przy czym zarówno -1, jak i 1 oznaczają „współregulację” w moim badaniu, traktuję zarówno -1, jak i 1 jako d = 0. Więc moje obliczenia wynoszą re= 1 …
2
Jakie są nie bayesowskie metody wnioskowania predykcyjnego?
Według wnioskowania bayesowskiego rozkład predykcyjny dla przyszłych danych jest uzyskiwany przez zintegrowanie nieznanych parametrów; całkowanie z tylnym rozkładem tych parametrów daje tylny rozkład predykcyjny - rozkład dla przyszłych danych pod warunkiem tych, które już zaobserwowano. Jakie są nie-bayesowskie metody wnioskowania predykcyjnego, które uwzględniają niepewność w oszacowaniach parametrów (tj. Które nie …
2
Regresja najmniejszych kwadratów Obliczenia algebry liniowej krok po kroku
Jako prequel pytania o modele mieszane liniowo w R i jako odniesienie dla początkujących / średniozaawansowanych miłośników statystyki, postanowiłem opublikować jako niezależny styl „pytania i odpowiedzi” kroki związane z „ręcznym” obliczeniem współczynniki i przewidywane wartości prostej regresji liniowej. Przykładem jest wbudowany zestaw danych R mtcars, który zostałby skonfigurowany jako mile …
2
Zmniejszony vs obiektywny : estymatory
W mojej głowie pojawiło się zamieszanie co do dwóch rodzajów estymatorów wartości populacji współczynnika korelacji Pearsona. A. Fisher (1915) wykazał, że dla dwuwymiarowej populacji normalnej empiryczny jest negatywnie tendencyjnym estymatorem , chociaż odchylenie może być praktycznie znaczne tylko dla małej wielkości próby ( ). Próbka nie docenia w tym sensie, …
1
Wybór spośród właściwych zasad punktacji
Większość zasobów na temat prawidłowych reguł punktowania wymienia szereg różnych zasad punktacji, takich jak utrata logów, wynik Briera lub punktacja sferyczna. Często jednak nie udzielają zbyt wielu wskazówek na temat różnic między nimi. (Dowód A: Wikipedia .) Wybór modelu, który maksymalizuje wynik logarytmiczny, odpowiada wybraniu modelu największej wiarygodności, co wydaje …
2
Na czym polega „regresja o zmniejszonej randze”?
Czytałem Elementy uczenia statystycznego i nie mogłem zrozumieć, o co chodzi w rozdziale 3.7 „Skurcz i wybór wielu wyników”. Mówi o RRR (regresja o zmniejszonej rangi) i mogę jedynie zrozumieć, że założenie dotyczy uogólnionego wielowymiarowego modelu liniowego, w którym współczynniki są nieznane (i należy je oszacować), ale wiadomo, że nie …
1
Dlaczego dla
W PCA, gdy liczba wymiarów jest większa (lub nawet równa) liczbie próbek N , dlaczego jest tak, że będziesz mieć co najwyżej N - 1 niezerowe wektory własne? Innymi słowy, pozycja macierzy kowariancji wśród wymiarów d ≥ N wynosi N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Przykład: Twoje próbki to wektoryzowane obrazy …
2
Generowanie danych za pomocą danej macierzy kowariancji próbki
Biorąc pod uwagę macierz kowariancji ΣsΣs\boldsymbol \Sigma_s , w jaki sposób wygenerować dane, aby miała przykładową macierz kowariancji Σ^=ΣsΣ^=Σs\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s ? Mówiąc bardziej ogólnie: często jesteśmy zainteresowani generowaniem danych z gęstości f(x|θ)f(x|θ) f(x \vert \boldsymbol\theta) , z danymi xxx podanymi parametrami wektorowymi θθ\boldsymbol\theta . Daje to próbkę, …
4
Jaka jest najlepsza wizualizacja tabel awaryjnych?
Który wykres jest najlepszy z statystycznego punktu widzenia, aby pokazać tabelę zdarzeń awaryjnych , która jest zazwyczaj analizowana za pomocą testu chi-kwadrat? Czy jest to unikalny wykres słupkowy, ułożony wykres słupkowy, mapa termiczna, wykres konturowy, jitterred scatterplot, wykres z wieloma liniami czy coś innego? Czy należy pokazywać wartości bezwzględne lub …
6
Zaawansowane przykłady modelowania regresji
Szukam zaawansowanego studium przypadku regresji liniowej ilustrującego kroki wymagane do modelowania złożonych, wielu nieliniowych zależności za pomocą GLM lub OLS. Zaskakująco trudno jest znaleźć zasoby wykraczające poza podstawowe przykłady szkolne: większość książek, które przeczytałem, nie pójdzie dalej niż logiczna transformacja odpowiedzi w połączeniu z BoxCox jednego predyktora, lub w najlepszym …
3
Czy istnieje bayesowskie podejście do szacowania gęstości?
Jestem zainteresowany, aby oszacować gęstość ciągłej zmiennej losowej . Jednym ze sposobów na osiągnięcie tego, czego się nauczyłem, jest użycie estymacji gęstości jądra.XXX Ale teraz interesuje mnie podejście bayesowskie, zgodne z poniższymi wytycznymi. I początkowo przekonani, że następuje rozkład . Biorę odczytów . Czy istnieje jakieś podejście do aktualizacji na …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.