Statystyki i duże zbiory danych

2

Wykres graniczny decyzji dla perceptronu

Próbuję wykreślić granicę decyzyjną algorytmu perceptronowego i jestem naprawdę zdezorientowany co do kilku rzeczy. Moje instancje wejściowe mają postać , w zasadzie instancję wejściową 2D ( i x_ {2} ) oraz wartość docelową klasy binarnej ( y ) [1 lub 0].[ ( x1, x2)) , y][(x1,x2)),y][(x_{1},x_{2}), y]x1x1x_{1}x2)x2)x_{2}yyy Mój wektor ciężaru …

11 machine-learning neural-networks python decision-theory perceptron

3

Odległość między dwiema mieszankami gaussowskimi do oceny rozwiązań klastrowych

Korzystam z szybkiej symulacji, aby porównać różne metody klastrowania, i obecnie mam problem z oceną rozwiązań klastrowych. Znam różne miary sprawdzania poprawności (wiele z nich znajduje się w klaster.stats () w R), ale zakładam, że najlepiej je wykorzystać, jeśli szacunkowa liczba klastrów faktycznie równa się prawdziwej liczbie klastrów. Chcę zachować …

11 clustering kullback-leibler gaussian-mixture

1

Motywacja za losowymi krokami algorytmu lasu

Znana mi metoda konstruowania losowego lasu jest następująca: (z http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Aby zbudować drzewo w lesie: Bootstrap próbkę o rozmiarze N, gdzie N jest rozmiarem naszego zestawu treningowego. Użyj tej próbki startowej jako zestawu treningowego dla tego drzewa. W każdym węźle drzewa losowo wybierz m naszych funkcji M. Wybierz najlepsze …

11 machine-learning classification random-forest

2

Dlaczego modele efektów losowych wymagają, aby efekty nie były skorelowane ze zmiennymi wejściowymi, podczas gdy modele efektów stałych pozwalają na korelację?

Z Wikipedii Istnieją dwa wspólne założenia dotyczące konkretnego efektu indywidualnego, założenia efektów losowych i założenia efektów stałych. Założeniem efektów losowych (wykonanym w modelu efektów losowych) jest to, że poszczególne efekty indywidualne nie są skorelowane ze zmiennymi niezależnymi. Założeniem efektu stałego jest to, że indywidualny efekt specyficzny jest skorelowany ze zmiennymi …

11 random-effects-model fixed-effects-model

3

Skumulowany / Skumulowany wykres (lub „Wizualizacja krzywej Lorenza”)

Nie wiem, jak nazywają się takie wątki, dlatego nadałem temu głupiemu tytułowi pytanie. Powiedzmy, że mam uporządkowany zestaw danych w następujący sposób 4253 4262 4270 4383 4394 4476 4635 ... Każdy numer odpowiada liczbie postów, które dany użytkownik wniósł do witryny. Badam empirycznie zdefiniowane tutaj zjawisko „nierówności w uczestnictwie” . …

11 r distributions data-visualization

2

Dlaczego funkcja gęstości tylnej jest proporcjonalna do funkcji prawdopodobieństwa wcześniejszych czasów gęstości?

Zgodnie z twierdzeniem Bayesa . Ale zgodnie z moim tekstem ekonometrycznym mówi się, że P ( θ | y ) ∝ P ( y | θ ) P ( θ ) . Dlaczego tak jest? Nie rozumiem, dlaczego P ( y ) jest ignorowane.P.( y| θ)P.( θ ) = P( …

11 bayesian conditional-probability likelihood

3

Pytanie o normalny dowód równania

Jak możesz udowodnić, że równania normalne: mają jedno lub więcej rozwiązań bez założenia, że X jest odwracalny?( XT.X) β= XT.Y(XTX)β=XTY(X^TX)\beta = X^TY Domyślam się tylko, że ma to coś wspólnego z uogólnioną odwrotnością, ale jestem całkowicie zagubiony.

11 regression proof

1

Jak przewidywać nowe dane za pomocą regresji spline / smooth

Czy ktoś może pomóc w wyjaśnieniu pojęciowym, w jaki sposób tworzone są prognozy dla nowych danych, gdy stosuje się wygładzanie / splajny dla modelu predykcyjnego? Na przykład, biorąc pod uwagę model stworzony przy użyciu gamboostw mboostopakowaniu w R, p-splajnów, jak są prognozy dla nowych danych? Czego używa dane szkoleniowe? Powiedzmy, …

11 regression machine-learning predictive-models splines

2

Fisher dla manekinów?

Krótka wersja: czy jest wstęp do pism Ronalda Fishera (artykułów i książek) na temat statystyki, który jest skierowany do osób z niewielkim lub zerowym doświadczeniem w statystyce? Myślę o czymś w rodzaju „czytelnika Fishera z komentarzem” skierowanego do niestatystów. Poniżej uzasadniam to pytanie, ale ostrzegam, że jest on rozwlekły (nie …

11 references history fiducial ronald-fisher

4

Testy statystyczne uwzględniające niepewność pomiaru

Załóżmy, że podano mi dwie grupy pomiarów masy (w mg), które są określane jako y1 i y2. Chcę zrobić test, aby ustalić, czy dwie próbki są pobierane z populacji w inny sposób. Coś takiego jak na przykład (w R): y1 <- c(10.5,2.9,2.0,4.4,2.8,5.9,4.2,2.7,4.7,6.6) y2 <- c(3.8,4.3,2.8,5.0,9.3,6.0,7.6,3.8,6.8,7.9) t.test(y1,y2) Dostaję wartość p wynoszącą …

11 hypothesis-testing

1

Jak LASSO wybiera spośród predyktorów współliniowych?

Szukam intuicyjnej odpowiedzi, dlaczego model GLM LASSO wybiera określony predyktor z grupy wysoce skorelowanych i dlaczego robi to inaczej niż najlepszy wybór funkcji podzbioru. Z geometrii LASSO pokazanej na ryc. 2 w Tibshirani 1996 doprowadzono mnie do przekonania, że LASSO wybiera predyktor z większą wariancją. Załóżmy teraz, że używam najlepszej …

11 feature-selection lasso

3

Dobre książki / dokumenty na temat oceny zdolności kredytowej

Szukam rekomendacji książek na temat oceny zdolności kredytowej. Interesują mnie wszystkie aspekty tego problemu, ale przede wszystkim: 1) Dobre funkcje. Jak je zbudować? Które okazały się dobre? 2) Sieci neuronowe. Ich zastosowanie do problemu punktacji kredytowej. 3) Wybrałem sieci neuronowe, ale interesują mnie również inne metody.

11 references finance credit-scoring

1

Łączenie dwóch macierzy kowariancji

Obliczam kowariancję rozkładu równolegle i muszę połączyć wyniki rozproszone w liczbie pojedynczej Gaussa. Jak połączyć te dwa elementy? Interpolacja liniowa między tymi dwoma prawie działa, jeśli są one podobnie rozmieszczone i zwymiarowane. Wikipedia zapewnia forumla na dole dla kombinacji, ale wydaje się to niewłaściwe; dwie identycznie rozmieszczone dystrybucje powinny mieć …

11 covariance moments

2

Interpretacja funkcji podsumowania dla modelu lm w R.

Jakie jest znaczenie t valuei Pr(>|t|)kiedy używa się summary()funkcji w modelu regresji liniowej w R? Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 10.1595 1.3603 7.469 1.11e-13 *** log(var) 0.3422 0.1597 2.143 0.0322 *

11 r regression generalized-linear-model

2

Ile rachunku jest konieczne, aby zrozumieć oszacowanie maksymalnego prawdopodobieństwa?

Próbuję zaplanować plan nauki do nauki MLE. W tym celu staram się ustalić, jaki jest minimalny poziom rachunku różniczkowego niezbędny do zrozumienia MLE. Czy wystarczy zrozumieć podstawy rachunku różniczkowego i całkowego (tzn. Znaleźć minimum i maksimum funkcji), aby zrozumieć MLE?

11 estimation mathematical-statistics maximum-likelihood