Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

2
Dlaczego te tabele anova regresji są identyczne?
Mam dwie regresje tego samego Y i trzypoziomowego X. Ogólnie n = 15, przy n = 5 w każdej grupie lub na poziomie X. Pierwsza regresja traktuje X jako kategoryczny, przypisując zmienne wskaźnikowe do poziomów 2 i 3 z poziomem jeden jest odniesieniem. Wskaźniki / manekiny są takie: X1 = …
11 regression  anova 
4
Sztuczne sieci neuronowe RÓWNOWAŻNE do regresji liniowej z cechami wielomianowymi?
Chcę lepiej zrozumieć sieci neuronowe i ich zalety w porównaniu z innymi algorytmami uczenia maszynowego. Rozumiem poniżej i moje pytanie brzmi: Czy możesz poprawić i uzupełnić moje zrozumienie, proszę? :) Moje zrozumienie: (1) Sztuczne sieci neuronowe = funkcja, która przewiduje wartości wyjściowe na podstawie wartości wejściowych. Zgodnie z uniwersalnym twierdzeniem …
3
Jak wdrożyć regularyzację L2 do dowolnego punktu w kosmosie?
Oto coś, co przeczytałem w książce Iana Goodfellow'a Deep Learning . W kontekście sieci neuronowych „kara za normę parametru L2 jest powszechnie znana jako zanik masy. Ta strategia regularyzacji przybliża wagi do źródła [...]. Mówiąc bardziej ogólnie, moglibyśmy uregulować parametry tak, aby znajdowały się w pobliżu dowolnego określonego punktu w …
4
Korelacja między X i XY
Jeśli mam dwie niezależne zmienne losowe X i Y, jaka jest korelacja między X a iloczynem XY? Jeśli to nie jest znane, chciałbym wiedzieć przynajmniej, co dzieje się w konkretnym przypadku, gdy X i Y są normalne z zerową średnią, jeśli łatwiej to rozwiązać.
2
Czy współczynnik błędów jest funkcją wypukłą parametru regulowania lambda?
Wybierając parametr regulowania lambda w Ridge lub Lasso, zalecaną metodą jest wypróbowanie różnych wartości lambda, zmierzenie błędu w zbiorze walidacyjnym i wybranie wartości lambda, która zwraca najmniejszy błąd. Nie jest dla mnie kłamstwem, jeśli funkcja f (lambda) = error jest wypukła. Czy może tak być? To znaczy, że ta krzywa …
3
Dlaczego prawdopodobieństwo w filtrze Kalmana jest obliczane przy użyciu wyników filtru zamiast wyników płynniejszych?
Używam filtra Kalmana w bardzo standardowy sposób. System jest reprezentowany przez równanie stanu i równanie obserwacyjne .xt + 1= F.xt+ vt + 1xt+1=faxt+vt+1x_{t+1}=Fx_{t}+v_{t+1}yt= Hxt+ A zt+ wtyt=H.xt+ZAzt+wty_{t}=Hx_{t}+Az_{t}+w_{t} Podręczniki uczą, że po zastosowaniu filtru Kalmana i uzyskaniu „prognoz o jeden krok do przodu” (lub „filtrowanego oszacowania”), powinniśmy użyć ich do obliczenia …
5
Dlaczego odrzucamy hipotezę zerową na poziomie 0,05, a nie na poziomie 0,5 (jak to robimy w klasyfikacji)
Testowanie hipotez jest podobne do problemu klasyfikacji. Powiedzmy, że mamy 2 możliwe etykiety dla obserwacji (tematu) - winny kontra niewinny. Niech Niewinny będzie hipotezą zerową. Gdybyśmy spojrzeli na problem z punktu widzenia klasyfikacji, wyszkolilibyśmy klasyfikatora, który przewidziałby prawdopodobieństwo przynależności podmiotu do każdej z 2 klas, biorąc pod uwagę dane. Następnie …
2
Wzajemne informacje jako prawdopodobieństwo
Czy wzajemna informacja nad wspólną entropią: 0 ≤ I( X, Y)H.( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 być zdefiniowane jako: „Prawdopodobieństwo przekazania informacji z X do Y”? Przepraszam, że jestem taki naiwny, ale nigdy nie studiowałem teorii informacji i staram się po prostu zrozumieć niektóre z nich.
5
Jak wygenerować sekwencję
Wiem, jak wygenerować sekwencję ± 1±1\pm 1 ze średnią 000 . Na przykład w programie Matlab, jeśli chcę wygenerować sekwencję ± 1±1\pm 1 o długości 100001000010000 , jest to: 2*(rand(1, 10000, 1)<=.5)-1 Jak jednak wygenerować sekwencję ± 1±1\pm 1 ze średnią 0,050,050.05 , tj. Z 111 która jest nieco preferowana?
2
Czy dzielenie danych na zestawy testowe i szkoleniowe to czysto „statystyki”?
Jestem studentem fizyki studiującym uczenie maszynowe / informatykę, więc nie mam na myśli, aby to pytanie wywoływało jakiekolwiek konflikty :) Jednak dużą częścią każdego programu licencjackiego z fizyki jest przeprowadzanie laboratoriów / eksperymentów, co oznacza dużo danych przetwarzanie i analiza statystyczna. Zauważam jednak wyraźną różnicę między sposobem, w jaki fizycy …
1
Dlaczego Netflix miałby przejść z pięciogwiazdkowego systemu ocen na system lajków / niechęci?
Netflix opierał swoje sugestie na ocenach innych filmów / programów przesłanych przez użytkownika. Ten system ocen miał pięć gwiazdek. Teraz Netflix pozwala użytkownikom lubić / nie lubić (kciuk w górę / kciuk w dół) filmów / programów. Twierdzą, że łatwiej jest oceniać filmy. Czy ta dwukierunkowa klasyfikacja nie byłaby statystycznie …
1
Losowe Wagi leśne i klasowe
Pytanie w jednym zdaniu: Czy ktoś wie, jak ustalić dobre wagi klas dla losowego lasu? Objaśnienie: Bawię się niezrównoważonymi zestawami danych. Chcę użyć tego Rpakietu randomForest, aby wyszkolić model na bardzo wypaczonym zbiorze danych z niewielkimi pozytywnymi przykładami i wieloma negatywnymi przykładami. Wiem, że istnieją inne metody i na koniec …
11 r  random-forest 
1
Bayesowski kolec i płyta kontra metody karane
Czytam slajdy Stevena Scotta o pakiecie BSTS R. (Znajdziesz je tutaj: slajdy ). W pewnym momencie, mówiąc o włączeniu wielu regresorów do strukturalnego modelu szeregów czasowych, wprowadza on priory wartości szczytowej współczynnika regresji i mówi, że są one lepsze w porównaniu z metodami karanymi. Scott mówi, odwołując się do przykładu …
5
Pokazuje, że estymator OLS jest równoważny skali?
Nie mam formalnej definicji równoważności skali, ale oto, co mówi o tym Wprowadzenie do uczenia statystycznego na s. 217: Standardowe współczynniki najmniejszych kwadratów ... są equivariant skala : mnożąc XjXjX_j przez stałą ccc po prostu prowadzi do skalowania najsłabiej oszacowań współczynników kwadraty o współczynnik 1/c1/c1/c . Dla uproszczenia załóżmy ogólny …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.