Statystyki i duże zbiory danych

1

Czy regresja z regularyzacją L1 jest taka sama jak Lasso, a z regularyzacją L2 jest taka sama jak regresja kalenicy? A jak napisać „Lasso”?

Jestem inżynierem oprogramowania uczącym się uczenia maszynowego, szczególnie poprzez kursy uczenia maszynowego Andrew Ng . Badając regresję liniową z regularyzacją , znalazłem terminy, które są mylące: Regresja z regularyzacją L1 lub regularyzacją L2 LASSO Regresja kalenicy Więc moje pytania: Czy regresja z regularyzacją L1 jest dokładnie taka sama jak LASSO? …

33 regression terminology lasso regularization ridge-regression

1

Względne zmienne znaczenie dla wzmocnienia

Szukam wyjaśnienia, w jaki sposób względna ważność zmiennych jest obliczana w drzewach wspomaganych gradientem, które nie jest zbyt ogólne / uproszczone, takie jak: Miary są oparte na liczbie wyborów zmiennej do podziału, ważone przez podniesienie kwadratu do modelu w wyniku każdego podziału i uśredniane dla wszystkich drzew . [ Elith …

33 machine-learning data-mining predictive-models cart boosting

2

Czy regularyzacja Tichonowa jest taka sama jak regresja grzbietu?

Regulararyzacja Tichonowa i regresja kalenicowa to terminy często używane tak, jakby były identyczne. Czy można dokładnie określić różnicę?

33 regression terminology regularization ridge-regression tikhonov-regularization

4

Grzbiet, lasso i elastyczna siatka

Jak porównują metody regulowania grzbietów, LASSO i elasticnetu? Jakie są ich zalety i wady? Doceniony zostanie również każdy dobry artykuł techniczny lub notatki z wykładu.

33 references lasso regularization ridge-regression elastic-net

2

Zrozumienie kształtu i obliczanie pasm ufności w regresji liniowej

Próbuję zrozumieć pochodzenie zakrzywionych kształtów pasm ufności związanych z regresją liniową OLS i sposób, w jaki odnosi się to do przedziałów ufności parametrów regresji (nachylenie i przecięcie), na przykład (przy użyciu R): require(visreg) fit <- lm(Ozone ~ Solar.R,data=airquality) visreg(fit) Wydaje się, że pasmo jest powiązane z granicami linii obliczonymi z …

33 regression confidence-interval

3

W jaki sposób losowe lasy nie są wrażliwe na wartości odstające?

Czytałem w kilku źródłach, w tym w tym , że Lasy Losowe nie są wrażliwe na wartości odstające (na przykład tak, jak regresja logistyczna i inne metody ML). Jednak dwie intuicje mówią mi inaczej: Ilekroć budowane jest drzewo decyzyjne, wszystkie punkty muszą być klasyfikowane. Oznacza to, że nawet wartości odstające …

33 random-forest bootstrap outliers cart

3

Intuicyjna różnica między ukrytymi modelami Markowa a losowymi polami warunkowymi

Rozumiem, że HMM (ukryte modele Markowa) to modele generatywne, a CRF to modele dyskryminujące. Rozumiem również, w jaki sposób zaprojektowano i zastosowano CRF (warunkowe pola losowe). Nie rozumiem, czym różnią się od HMM? Czytałem, że w przypadku HMM możemy modelować nasz następny stan tylko na poprzednim węźle, bieżącym węźle i …

33 machine-learning hidden-markov-model natural-language conditional-random-field

2

Określanie wielkości próbki niezbędnej dla metody ładowania początkowego / proponowanej metody

Wiem, że jest to dość gorący temat, na który nikt tak naprawdę nie jest w stanie udzielić prostej odpowiedzi. Niemniej jednak zastanawiam się, czy poniższe podejście nie byłoby przydatne. Metoda ładowania początkowego jest użyteczna tylko wtedy, gdy twoja próbka odpowiada mniej więcej (dokładnie odczytać) tej samej dystrybucji, co pierwotna populacja. …

33 bootstrap sample-size methodology

5

Grupowanie zestawu danych ze zmiennymi dyskretnymi i ciągłymi

Mam zestaw danych X, który ma 10 wymiarów, z których 4 to wartości dyskretne. W rzeczywistości te 4 zmienne dyskretne są porządkowe, tzn. Wyższa wartość implikuje wyższy / lepszy semantyczny. 2 z tych zmiennych dyskretnych są jakościowe w tym sensie, że dla każdej z tych zmiennych odległość np. Od 11 …

33 clustering k-means discrete-data continuous-data gaussian-mixture

5

Zdobywanie informacji, wzajemne informacje i powiązane środki

33 information-theory

7

Czy istnieje przyjęta definicja mediany próbki na płaszczyźnie lub wyższych uporządkowanych przestrzeni?

Jeśli tak to co? Jeśli nie, dlaczego nie? W przypadku próbki w linii mediana minimalizuje całkowite odchylenie bezwzględne. Wydaje się naturalne, aby rozszerzyć definicję na R2 itp., Ale nigdy jej nie widziałem. Ale od dłuższego czasu jestem na lewym polu.

33 multivariate-analysis spatial median

7

W jaki sposób przekazujesz piękno twierdzenia o limicie centralnym nie-statystyka?

Mój ojciec jest entuzjastą matematyki, ale mało interesuje go statystyka. Byłoby fajnie spróbować zilustrować niektóre wspaniałe fragmenty statystyk, a CLT jest głównym kandydatem. Jak przekazałbyś matematyczną urodę i wpływ centralnego twierdzenia o granicy niepistatystom?

33 theory central-limit-theorem

1

Co to są kontrole predykcyjne późniejsze i co czyni je przydatnymi?

Rozumiem, czym jest tylna dystrybucja predykcyjna i czytałem o późniejszych kontrolach predykcyjnych , chociaż dla mnie nie jest jeszcze jasne, co robi. Czym dokładnie jest tylna kontrola predykcyjna? Dlaczego niektórzy autorzy twierdzą, że przeprowadzanie późniejszych kontroli predykcyjnych „wykorzystuje dane dwukrotnie” i nie powinno być nadużywane? (a nawet, że nie jest …

33 bayesian model-selection posterior

4

Dlaczego tanh prawie zawsze jest lepszy niż sigmoid jako funkcja aktywacyjna?

W Andrzej zNg sieci neuronowe i głęboki learning na Coursera mówi, że przy tanhtanhtanh jest prawie zawsze korzystniejsze sigmoidsigmoidsigmoid . Powodem jest to, że daje on wyjść przy użyciu tanhtanhtanh centrum niż około 0 sigmoidsigmoidsigmoid „a 0,5, a to«sprawia, że uczenie się do następnej warstwy trochę łatwiejsze». Dlaczego centrowanie uczenia …

33 machine-learning neural-networks backpropagation sigmoid-curve

2

Teoria stojąca za częściową regresją najmniejszych kwadratów

Czy ktoś może polecić dobre przedstawienie teorii stojącej za częściową regresją najmniejszych kwadratów (dostępną online) dla kogoś, kto rozumie SVD i PCA? Przejrzałem wiele źródeł online i nie znalazłem niczego, co miałoby właściwe połączenie rygorystyczności i dostępności. Przyjrzałem się elementom uczenia statystycznego , które zostały zasugerowane w komentarzu do pytania …

33 regression references regularization svd partial-least-squares