Statystyki i duże zbiory danych

2

Obecnie mam problem ze zrozumieniem składni R dla dopasowania GLM przy użyciu rozkładu gamma. Mam zestaw danych, w którym każdy wiersz zawiera 3 współzmienne ( ), zmienną odpowiedzi ( ) i parametr kształtu ( ). Chcę modelować skalę rozkładu gamma jako funkcję liniową 3 zmiennych towarzyszących, ale nie rozumiem, jak …

14 r generalized-linear-model gamma-distribution dglm

3

Wykonaj regresję liniową, ale wymusz rozwiązanie, aby przejść przez określone punkty danych

Wiem, jak wykonać regresję liniową na zbiorze punktów. To znaczy, wiem, jak dopasować wybrany wielomian do danego zestawu danych (w sensie LSE). Jednak nie wiem, jak zmusić moje rozwiązanie do przejścia przez niektóre wybrane punkty. Widziałem to już wcześniej, ale nie pamiętam, jak nazywała się ta procedura, nie mówiąc już …

14 regression machine-learning least-squares linear-model polynomial

2

Kombinacja liniowa dwóch zależnych wielowymiarowych normalnych zmiennych losowych

Załóżmy, że mamy dwa wektory zmiennych losowych, oba są normalne, tj. i . Interesuje nas rozkład ich kombinacji liniowej , gdzie i są macierzami, to wektor. Jeśli i są niezależne, . Pytanie dotyczy przypadku zależnego, zakładając, że znamy korelację dowolnej pary . Dziękuję Ci.Y ∼ N ( μ Y , …

14 probability normal-distribution multinomial

2

Interpretacja współczynników zapadalności

Tak więc chcę dopasować model losowo-dwumianowy efektów losowych. Dla takiego modelu STATA może wytwarzać współczynniki wykładnicze. Zgodnie z plikiem pomocy takie współczynniki można interpretować jako współczynniki zapadalności. Niestety nie jestem rodzimym językiem angielskim i tak naprawdę nie rozumiem, jakie są współczynniki zapadalności i jak je tłumaczyć. Więc moje pytanie brzmi: …

14 interpretation negative-binomial regression-coefficients

3

Jakie powinny być optymalne parametry dla klasyfikatora Random Forest?

Obecnie używam przybornika RF na MATLAB do binarnej klasyfikacji problemu Zestaw danych: 50000 próbek i ponad 250 funkcji Jaka powinna być liczba drzew i losowo wybrana funkcja na każdym podziale, aby rosły drzewa? czy jakikolwiek inny parametr może znacząco wpłynąć na wyniki?

14 machine-learning classification random-forest

5

Klastrowanie (k-średnie lub w inny sposób) z ograniczeniem minimalnego rozmiaru klastra

Muszę grupować jednostki w klastrów, aby zminimalizować sumę kwadratów wewnątrz grupy (WSS), ale muszę upewnić się, że każda z klastrów zawiera co najmniej jednostek. Masz pojęcie, czy którakolwiek z funkcji klastrowania R pozwala na grupowanie w klastrów z zastrzeżeniem ograniczenia minimalnego rozmiaru klastra? Kmeans () nie wydaje się oferować opcji …

14 r clustering

2

Jaka jest różnica między wyjściem „coef” i „(exp) coef” coxpha w R?

Próbowałem rozeznać, co dokładnie oznaczają „coef” i „(exp) coef” coxph. Wygląda na to, że „(exp) coef” to porównania pierwszej zmiennej w modelu zgodnie z grupą przypisaną w poleceniu. W jaki sposób funkcja Coxph osiąga wartości dla „coef” i „(exp) coef”? Dodatkowo, w jaki sposób coxph określa te wartości, gdy występuje …

14 r survival interpretation

3

OLS jest NIEBIESKI. Ale co, jeśli nie dbam o bezstronność i liniowość?

Twierdzenie Gaussa-Markowa mówi nam, że estymator OLS jest najlepszym liniowym estymatorem obiektywnym dla modelu regresji liniowej. Załóżmy jednak, że nie dbam o liniowość i bezstronność. Czy jest zatem jakiś inny (możliwy nieliniowy / tendencyjny) estymator dla modelu regresji liniowej, który jest najbardziej wydajny przy założeniach Gaussa-Markowa lub jakiś inny ogólny …

14 regression unbiased-estimator

6

Regresja liniowa, gdy Y jest ograniczone i dyskretne

Pytanie jest proste: czy właściwe jest stosowanie regresji liniowej, gdy Y jest ograniczone i dyskretne (np. Wynik testu 1 ~ 100, niektóre predefiniowane rangi 1 ~ 17)? Czy w takim przypadku „regresja liniowa nie jest dobra”, czy też jest całkowicie niewłaściwa?

14 regression multiple-regression least-squares linear bounds

5

Dlaczego potrzebujemy alternatywnej hipotezy?

Kiedy przeprowadzamy testy, uzyskujemy dwa wyniki. 1) Odrzucamy hipotezę zerową 2) Nie odrzucamy hipotezy zerowej. Nie mówimy o akceptowaniu alternatywnych hipotez. Jeśli nie mówimy o akceptacji alternatywnej hipotezy, dlaczego w ogóle potrzebujemy alternatywnej hipotezy? Oto aktualizacja: czy ktoś mógłby mi podać dwa przykłady: 1) odrzucenie hipotezy zerowej jest równoznaczne z …

14 hypothesis-testing

2

Jaka jest oczekiwana wartość logarytmu rozkładu gamma?

Jeśli oczekiwana wartość to , jaka jest oczekiwana wartość ? Czy można to obliczyć analitycznie?G a m m a (α,β)Gamma(α,β)\mathsf{Gamma}(\alpha, \beta)αβαβ\frac{\alpha}{\beta}log( G a m m a ( α , β) )log⁡(Gamma(α,β))\log(\mathsf{Gamma}(\alpha, \beta)) Parametryzacja, której używam, jest kształtem.

14 expected-value gamma-distribution

3

Dlaczego sieci neuronowe wymagają wyboru / inżynierii funkcji?

Zwłaszcza w kontekście zawodów kaggle zauważyłem, że wydajność modelu polega na wyborze / inżynierii funkcji. Chociaż w pełni rozumiem, dlaczego tak jest w przypadku bardziej konwencjonalnych / oldskulowych algorytmów ML, nie rozumiem, dlaczego tak jest w przypadku korzystania z głębokich sieci neuronowych. Powołując się na książkę Deep Learning: Głębokie uczenie …

14 neural-networks deep-learning feature-selection feature-engineering

2

Po co używać linku logit w regresji beta?

Ostatnio byłem zainteresowany wdrożeniem modelu regresji beta, dla wyniku, który jest proporcjonalny. Zauważ, że wynik ten nie mieści się w kontekście dwumianowym, ponieważ w tym kontekście nie ma sensownego pojęcia dyskretnego „sukcesu”. W rzeczywistości wynik jest faktycznie czasem trwania; licznik jest liczbą sekund, podczas których określony warunek jest aktywny przez …

14 logit beta-regression

1

Co oznacza warstwa wąskiego gardła w sieciach neuronowych?

Czytałem FaceNet papier i w 3. akapicie wprowadzenia mówi: Wcześniejsze podejścia do rozpoznawania twarzy oparte na głębokich sieciach wykorzystywały warstwę klasyfikacyjną przeszkoloną w oparciu o zestaw znanych tożsamości twarzy, a następnie przyjmowały pośrednią warstwę wąskiego gardła jako reprezentację stosowaną do uogólnienia rozpoznawania poza zestawem tożsamości używanych w szkoleniu. Zastanawiałem się, …

14 neural-networks image-processing

1

Jaka jest różnica między epizodem a epoką w głębokim uczeniu się Q?

Próbuję zrozumieć słynny artykuł „Playing Atari with Deep Reinforcement Learning” ( pdf ). Nie jestem pewien, jaka jest różnica między epoką a epizodem . W algorytmie zewnętrzna pętla kończy się epizodami , natomiast na rysunku oś x jest oznaczona epoką . W kontekście uczenia się przez wzmacnianie nie jestem jasne, …

14 neural-networks terminology reinforcement-learning q-learning