Statystyki i duże zbiory danych

Pytania i odpowiedzi dla osób zainteresowanych statystyką, uczeniem maszynowym, analizą danych, eksploracją danych i wizualizacją danych

1
Czy przy ponownym parametryzowaniu funkcji wiarygodności wystarczy tylko podłączyć zmienną przekształconą zamiast formuły zmiany zmiennych?
Załóżmy, że próbuję ponownie sparametryzować funkcję prawdopodobieństwa rozkładającą się wykładniczo. Jeśli moją pierwotną funkcją wiarygodności jest: p ( y∣ θ ) = θ e- θ yp(y∣θ)=θe−θy p(y \mid \theta) = \theta e^{-\theta y} i chciałbym ponownie sparametryzować za pomocą , ponieważθnie jest zmienną losową, ale parametrem, wystarczy tylko podłączyć?ϕ = …
4
Nadmierne dopasowanie za pomocą klasyfikatorów liniowych
Dzisiaj nasz profesor stwierdził w klasie, że „nadmierne dopasowanie do klasyfikatorów liniowych nie jest możliwe”. Uważam, że jest to błędne, ponieważ nawet klasyfikatory liniowe mogą być wrażliwe na wartości odstające w zestawie szkoleniowym - na przykład twardy margines Maszyna wsparcia wektorowego: Jeden pojedynczy hałaśliwy punkt danych może zmienić, która hiperpłaszczyzna …
1
Jak jądro prostego perceptronu?
Problemy klasyfikacyjne z nieliniowymi granicami nie mogą być rozwiązane przez prosty perceptron . Poniższy kod R służy do celów ilustracyjnych i jest oparty na tym przykładzie w języku Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1, -2,1, -1,1, 0,1, 1,1, 2,1, …
2
Jak sprawdzić statystycznie, czy moja sieć (wykres) jest siecią „małego świata”, czy nie?
Sieć małego świata jest rodzajem wykresu matematycznego, na którym większość węzłów nie sąsiaduje ze sobą, ale do większości węzłów można dotrzeć od siebie niewielką liczbą przeskoków lub kroków. W szczególności sieć małego świata jest zdefiniowana jako sieć, w której typowa odległość L między dwoma losowo wybranymi węzłami (liczba wymaganych kroków) …
2
RMSE (Root Mean Squared Error) dla modeli logistycznych
Mam pytanie dotyczące zasadności korzystania z RMSE (Root Mean Squared Error) do porównywania różnych modeli logistycznych. Odpowiedź jest albo 0czy 1i przewidywania prawdopodobieństwa są między 0- 1? Czy sposób zastosowany poniżej jest również prawidłowy w przypadku odpowiedzi binarnych? # Using glmnet require(glmnet) load(url("https://github.com/cran/glmnet/raw/master /data/BinomialExample.RData")) cvfit = cv.glmnet(x, y, family = …
1
Jakie metody istnieją dostrajania hiperparametrów jądra graficznego SVM?
Mam pewne dane, które istnieją na wykresie . Wierzchołki należą do jednej z dwóch klas , a ja jestem zainteresowany szkoleniem SVM do rozróżniania dwóch klas. Jeden odpowiedni jądro to jądro dyfuzji , gdzie jest Laplace'a z i \ p jest parametrem strojenia.G=(V,E)G=(V,E)G=(V,E)yi∈{−1,1}yi∈{−1,1}y_i\in\{-1,1\}K=exp(−βL),K=exp⁡(−βL),K=\exp(-\beta L),LLLGGGββ\beta Strojenie SVM wymaga wyboru hiperparametrów, więc …
4
Biorąc pod uwagę n równomiernie rozłożonych rv, jaki jest PDF dla jednego rv podzielony przez sumę wszystkich nv.v?
Interesuje mnie następujący rodzaj przypadku: istnieją ciągłe zmienne losowe „n”, które muszą sumować się do 1. Co to byłby plik PDF dla każdej pojedynczej takiej zmiennej? Jeśli więc n=3n=3n=3 , to jestem zainteresowany rozkładem dla X1X1+X2+X3X1X1+X2+X3\frac{X_1}{X_1+X_2+X_3} , gdzieX1,X2X1,X2X_1, X_2iX3X3 X_3 są rozmieszczone równomiernie. Średni oczywiście w tym przykładzie jest1/31/31/3, a …
10 uniform 
3
Test G vs test chi-kwadrat Pearsona
Testuję niezależność w tabeli awaryjności Nie wiem, czy test G czy test chi-kwadrat Pearsona jest lepszy. Rozmiar próbki jest w setkach, ale istnieją pewne niskie liczby komórek. Jak stwierdzono na stronie Wikipedii , przybliżenie rozkładu chi-kwadrat jest lepsze dla testu G niż dla testu chi-kwadrat Pearsona. Ale używam symulacji Monte …
2
Różnica między uśrednieniem danych a dopasowaniem i dopasowaniem danych a następnie uśrednieniem
Jeśli istnieje, między dopasowaniem linii do wielu oddzielnych „eksperymentów”, a następnie uśrednieniem pasowań lub uśrednieniem danych z oddzielnych eksperymentów, a następnie dopasowaniem uśrednionych danych. Pozwól mi rozwinąć: Wykonuję symulacje komputerowe, które generują krzywą, pokazaną poniżej. Wydobywamy ilość, nazwijmy ją „A”, dopasowując region liniowy wykresu (długi czas). Wartość jest po prostu …
10 error  fitting  average 
1
Czy możliwa jest nawet PCA na dużą skalę?
Klasycznym sposobem analizy głównych składowych (PCA) jest wykonanie macierzy danych wejściowych, których kolumny mają zerową średnią (wtedy PCA może „maksymalizować wariancję”). Można to łatwo osiągnąć poprzez centrowanie kolumn. Jednak gdy matryca wejściowa jest rzadka, matryca środkowa będzie już rzadsza i - jeśli matryca jest bardzo duża - nie będzie już …
3
Dlaczego należy wykonać transformację WOE predyktorów jakościowych w regresji logistycznej?
Kiedy użyteczne jest przekształcanie zmiennych kategorialnych według wagi dowodu (WOE)? Przykład można zobaczyć w transformacji WOE (Tak na odpowiedź , i kategorycznym predyktora z kategoriach & sukcesów poza n_j prób w j th kategorii tej predykcyjnych, Biada j th Kategoria ta jest zdefiniowana jakok y j n j j jyyykkkyjotyjoty_jnjotnjotn_jjotjotjjjj …
1
Znajdź unikalny MVUE
To pytanie pochodzi z wprowadzenia Roberta Hogga do statystyki matematycznej, problem 6. wersji 7.4.9 na stronie 388. Niech będzie oznaczony pdf 1/3 zero w innym miejscu, gdzie .X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 (a) Znajdź mle zθ^θ^\hat{\theta}θθ\theta (b) Czy to wystarczająca statystyka dla ? Dlaczego ?θ^θ^\hat{\theta}θθ\theta (c) Czy jest unikalnym MVUE z ? Dlaczego ?(n+1)θ^/n(n+1)θ^/n(n+1)\hat{\theta}/nθθ\theta …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.