Statystyki i duże zbiory danych

1

Dlaczego miałbyś przewidywać na podstawie modelu efektu mieszanego bez uwzględnienia efektów losowych dla prognozy?

Jest to bardziej pytanie koncepcyjne, ale w miarę używania Rbędę odwoływał się do pakietów w R. Jeśli celem jest dopasowanie modelu liniowego do celów przewidywania, a następnie dokonanie prognoz, w których efekty losowe mogą być niedostępne, czy jest jakaś korzyść ze stosowania modelu efektów mieszanych, czy zamiast tego należy zastosować …

10 r multiple-regression mixed-model lme4-nlme

1

W jaki sposób SVM = dopasowanie szablonu?

Przeczytałem o maszynach SVM i dowiedziałem się, że rozwiązują one problem optymalizacji, a maksymalny margines był bardzo rozsądny. Teraz, za pomocą jąder, mogą znaleźć nawet nieliniowe granice separacji, co było świetne. Jak dotąd naprawdę nie mam pojęcia, w jaki sposób SVM (specjalna maszyna jądra) i maszyny jądra są powiązane z …

10 machine-learning neural-networks svm deep-learning kernel-trick

1

K-oznacza: ile iteracji w sytuacjach praktycznych?

Nie mam doświadczenia w branży eksploracji danych ani dużych zbiorów danych, więc chciałbym usłyszeć, jak dzielisz się doświadczeniami. Czy ludzie faktycznie używają k-średnich, PAM, CLARA itp. Na naprawdę dużym zbiorze danych? Czy po prostu losowo wybierają z niego próbkę? Jeśli po prostu pobiorą próbkę zestawu danych, czy wynik byłby wiarygodny, …

10 clustering data-mining k-means convergence large-data

3

Dlaczego w niektórych przypadkach dynamika hamiltonowska jest lepsza niż propozycja chodzenia losowego w MCMC?

W niektórych przypadkach dynamika hamiltonowska zawsze przewyższa osiągi w algorytmie Metropolis. Czy ktoś mógłby wyjaśnić przyczynę prostymi słowami bez zbyt dużej matematyki?

10 mcmc

3

Funkcja straty dla segmentacji semantycznej

Przeprasza za niewłaściwe użycie terminów technicznych. Pracuję nad projektem segmentacji semantycznej za pośrednictwem splotowych sieci neuronowych (CNN); próbuje zaimplementować architekturę typu Enkoder-Dekoder, dlatego wyjście ma ten sam rozmiar co wejście. Jak projektujesz etykiety? Jaką funkcję utraty należy zastosować? Zwłaszcza w sytuacji dużej nierównowagi klas (ale stosunek między klasami jest zmienny …

10 conv-neural-network image-processing segmentation

2

Skorygowany wskaźnik Rand a skorygowane informacje wzajemne

Usiłuję ocenić wydajność klastrowania. Czytałem dokumentację skiscit-learn dotyczącą metryk . Nie rozumiem różnicy między ARI a AMI. Wydaje mi się, że robią to samo na dwa różne sposoby. Cytowanie z dokumentacji: Biorąc pod uwagę znajomość podstawowych przypisań do klasy prawdy label_true i nasz algorytm grupowania tych samych próbek label_pred, skorygowany …

10 clustering python scikit-learn

2

Czy w modelach normalnym i dwumianowym zawsze wariancja tylna jest mniejsza niż wariancja poprzednia?

Lub jakie warunki to gwarantują? Zasadniczo (i nie tylko modele normalne i dwumianowe) przypuszczam, że głównym powodem złamania tego twierdzenia jest niespójność między modelem próbkowania a wcześniejszym, ale co jeszcze? Zaczynam od tego tematu, więc naprawdę doceniam proste przykłady

10 bayesian variance information-theory

1

Nazewnictwo lewej i prawej strony w modelach regresji

y=β0+β1x1+ε0y=β0+β1x1+ε0y = \beta_{0} + \beta_{1}x_{1} + \varepsilon_{0} Język opisujący modele regresji, taki jak bardzo prosta regresja liniowa opisana powyżej, często się różni i takie zmiany często niosą subtelne zmiany znaczeń. Na przykład część modelu po lewej stronie równania można nazwać (między innymi jestem tego nieświadomy), używając konotacji i denotacji w …

10 regression terminology

2

Twierdzenie o granicy centralnej dla łańcuchów Markowa

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} The Central Limit Theorem (CLT) stwierdza, że dla niezależne i identycznie rozmieszczone (iid) z i nazwa , suma zbiega się do rozkładu normalnego jako : X1,X2,…X1,X2,…X_1,X_2,\dotsE[Xi]=0E[Xi]=0\E[X_i]=0Var(Xi)<∞Var⁡(Xi)<∞\operatorname{ Var} (X_i)<\inftyn→∞n→∞n\to\infty∑i=1nXi→N(0,n−−√).∑i=1nXi→N(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). Załóżmy zamiast tego, że tworzą łańcuch Markowa w stanie skończonym ze stacjonarnym rozkładem z oczekiwaniem 0 …

10 markov-process central-limit-theorem

1

RNN z L2 Regulararyzacja przestaje się uczyć

Korzystam z dwukierunkowego RNN, aby wykryć zdarzenie niezrównoważonego wystąpienia. Klasa dodatnia jest 100 razy rzadziej niż klasa negatywna. Chociaż nie używa się regularyzacji, mogę uzyskać 100% dokładności na zestawie pociągów i 30% na zestawie walidacji. Włączam regularyzację l2, a wynik to tylko 30% dokładności na zestawie pociągów zamiast dłuższego uczenia …

10 neural-networks deep-learning regularization rnn

1

Kompleksowa analiza, analiza funkcjonalna dla lepszego zrozumienia uczenia maszynowego

Chcę głębiej poznać uczenie maszynowe (teoria i zastosowanie w finansach). Chcę zapytać, jak istotna jest złożona analiza i analiza funkcjonalna jako podstawa uczenia maszynowego? Czy muszę się uczyć tych przedmiotów, czy powinienem skoncentrować się na innym temacie (jeśli tak, to na jakim?)

10 machine-learning pac-learning

3

Obliczanie rozkładu z wartości min, średniej i maks

Załóżmy, że mam minimum, średnią i maksimum niektórych zbiorów danych, powiedzmy 10, 20 i 25. Czy istnieje sposób na: utworzyć dystrybucję na podstawie tych danych oraz wiedzieć, jaki procent populacji prawdopodobnie leży powyżej lub poniżej średniej Edytować: Zgodnie z sugestią Glen'a załóżmy, że mamy próbkę o wielkości 200.

10 distributions standard-deviation mean maximum minimum

4

Najlepszy sposób na wysianie N niezależnych generatorów liczb losowych od 1 wartości

W moim programie muszę uruchomić N osobnych wątków, każdy z własnym RNG, który służy do próbkowania dużego zestawu danych. Muszę być w stanie zaszczepić cały ten proces jedną wartością, aby móc odtwarzać wyniki. Czy wystarczy po prostu sekwencyjnie zwiększać ziarno dla każdego indeksu? Obecnie używam numpytych, RandomStatektóre korzystają z generatora …

10 python monte-carlo random-generation numpy

2

Częstotliwościowa definicja prawdopodobieństwa; czy istnieje formalna definicja?

Czy istnieje jakakolwiek formalna (matematyczna) definicja tego, co osoby często oceniające rozumieją pod „prawdopodobieństwem”? Czytam, że jest to względna częstotliwość występowania „na dłuższą metę”, ale czy istnieje jakiś formalny sposób jej zdefiniowania? Czy są jakieś znane odniesienia, w których mogę znaleźć tę definicję? EDYTOWAĆ: Z częstym (patrz komentarz @whuber i …

10 probability frequentist definition

2

Testowanie założenia proporcjonalnych zagrożeń w modelach parametrycznych

Jestem świadomy testowania założenia proporcjonalnych zagrożeń w kontekście modeli PH Coxa, ale nie spotkałem się z niczym związanym z modelami parametrycznymi? Czy istnieje realny sposób przetestowania założenia PH dla niektórych modeli parametrycznych? Wydaje się, że należy podać, że modele parametryczne różnią się tylko nieznacznie od półparametrycznych modeli Coxa? Na przykład, …

10 survival assumptions proportional-hazards