Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

4
Liczba cech a liczba obserwacji
Czy są jakieś prace / książki / pomysły na temat związku między liczbą cech a liczbą obserwacji, które należy przeprowadzić, aby wyszkolić „solidnego” klasyfikatora? Załóżmy na przykład, że mam 1000 cech i 10 obserwacji z dwóch klas jako zestaw treningowy i 10 innych obserwacji jako zestaw testowy. Trenuję jakiś klasyfikator …
2
Obsługa maszyn wektorowych i regresji
Odbyła się już doskonała dyskusja na temat tego, w jaki sposób maszyny wektorów nośnych radzą sobie z klasyfikacją, ale jestem bardzo zdezorientowany, w jaki sposób maszyny wektorów nośnych uogólniają się na regresję. Czy ktoś chce mnie oświecić?
4
Sieć neuronowa z połączeniami pomijanymi
Interesuje mnie regresja z sieciami neuronowymi. Sieci neuronowe z zerowymi ukrytymi węzłami + połączenia warstwy pomijanej są modelami liniowymi. Co z tymi samymi sieciami neuronowymi, ale z ukrytymi węzłami? Zastanawiam się, jaka byłaby rola połączeń pominięcia warstwy? Intuicyjnie powiedziałbym, że jeśli uwzględnisz połączenia pominięcia warstwy, wówczas model końcowy będzie sumą …
3
Zależność między rozkładem gamma a rozkładem normalnym
Niedawno uznałem za konieczne wyprowadzenie pdf dla kwadratu normalnej zmiennej losowej ze średnią 0. Z jakiegokolwiek powodu postanowiłem nie normalizować wcześniej wariancji. Jeśli zrobiłem to poprawnie, ten plik pdf wygląda następująco: N2(x;σ2)=1σ2π−−√x−−√e−x2σ2N2(x;σ2)=1σ2πxe−x2σ2 N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}} Zauważyłem, że w rzeczywistości była to tylko parametryzacja rozkładu gamma: …
3
Kolumnowa normalizacja macierzy w R [zamknięty]
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 6 lat temu . Chciałbym przeprowadzić kolumnową normalizację macierzy w R. Biorąc pod uwagę macierz m, chcę znormalizować każdą kolumnę dzieląc każdy element przez sumę …
4
Kiedy logować przekształcać szeregi czasowe przed dopasowaniem modelu ARIMA
Wcześniej używałem prognozy pro do prognozowania szeregów czasowych na jednym szeregu, ale zmieniam przepływ pracy na R. Pakiet prognozy dla R zawiera wiele przydatnych funkcji, ale jedna rzecz nie robi to jakiejkolwiek transformacji danych przed uruchomieniem auto .arima (). W niektórych przypadkach prognozy pro decydują się na rejestrowanie danych transformacji …
4
Jakie jest właściwe użycie scale_pos_weight w xgboost dla niezrównoważonych zestawów danych?
Mam bardzo niezrównoważony zestaw danych. Staram się postępować zgodnie ze wskazówkami dotyczącymi tuningu i używać go, scale_pos_weightale nie jestem pewien, jak go dostroić. Widzę, że RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight więc gradient próbki dodatniej byłby bardziej wpływowy. Jednak zgodnie z artykułem xgboost statystyka gradientów jest zawsze używana …
5
Czy przerobiony model niekoniecznie jest bezużyteczny?
Załóżmy, że model ma 100% dokładności danych treningowych, ale 70% dokładności danych testowych. Czy następujący argument dotyczy tego modelu? Oczywiste jest, że jest to model przebudowany. Dokładność testu można zwiększyć, zmniejszając nadmierne dopasowanie. Ale ten model może nadal być użytecznym modelem, ponieważ ma akceptowalną dokładność dla danych testowych.
1
Tabele statystyczne w starych książkach celowo błędne?
Pamiętam, że jakiś czas temu przeczytałem, że w starych książkach (w czasach przedkomputerowych) ostatnie cyfry teoretycznych kwantyli pokazane w dodatkach były niedokładne, aby zniechęcić do plagiatu (pomysł byłby taki, gdyby inna książka miała tabelę w dodatek, w którym ostatnie cyfry są identyczne z cyframi znajdującymi się w twoim, to autor …
2
Czy to prawda, że ​​metody bayesowskie nie pasują do siebie?
Czy to prawda, że ​​metody bayesowskie nie pasują do siebie? (Widziałem kilka artykułów i samouczków przedstawiających to twierdzenie) Na przykład, jeśli zastosujemy Proces Gaussa do MNIST (odręczna klasyfikacja cyfr), ale pokażemy tylko jedną próbkę, czy powróci on do wcześniejszego rozkładu dla jakichkolwiek danych wejściowych innych niż ta pojedyncza próbka, jakkolwiek …
8
Czy słupki błędów prawdopodobieństw mają jakieś znaczenie?
Ludzie często mówią, że jakieś wydarzenie ma 50-60% szansy na wydarzenie. Czasami nawet widzę, jak ludzie podają wyraźne słupki błędów przy przypisywaniu prawdopodobieństwa. Czy te stwierdzenia mają jakieś znaczenie, czy są jedynie dziwactwem językowym, wybierając konkretną liczbę dla czegoś, co z natury jest niepoznawalne?
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.