Statystyki i duże zbiory danych

3

Po co używać opóźnionego DV jako zmiennej instrumentalnej?

Odziedziczyłem kod analizy danych, który nie będąc ekonometrycznym, staram się zrozumieć. Jeden model uruchamia regresję zmiennych instrumentalnych za pomocą następującego polecenia Stata ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) Ten zestaw danych jest panelem z wieloma sekwencyjnymi obserwacjami dla tego zestawu zmiennych. Dlaczego ten kod używa opóźnionych …

12 regression stata instrumental-variables

4

Jak mogę (liczbowo) aproksymować wartości dla rozkładu beta z dużymi wartościami alfa i beta

Czy istnieje stabilny numerycznie sposób obliczania wartości rozkładu beta dla dużej liczby całkowitej alfa, beta (np. Alfa, beta> 1000000)? Właściwie potrzebuję tylko 99% przedziału ufności wokół trybu, jeśli to w jakiś sposób ułatwi problem. Dodaj : Przepraszam, moje pytanie nie było tak jasno określone, jak myślałem. Chcę to zrobić: mam …

12 confidence-interval algorithms beta-distribution

2

Gdzie mogę znaleźć dobre quizy statystyczne?

Proszę o wprowadzenie, zaawansowane, a nawet niejasne. Głównie do przetestowania siebie. Lubię się upewnić, że wiem o czym, do cholery, mówię :) Dzięki

12 teaching

4

Jak duża powinna być próbka dla danej techniki szacowania i parametrów?

Czy istnieje ogólna zasada, a nawet jakikolwiek sposób określający, jak duża powinna być próbka, aby oszacować model o określonej liczbie parametrów? Na przykład, jeśli chcę oszacować regresję metodą najmniejszych kwadratów z 5 parametrami, jak duża powinna być próbka? Czy ma znaczenie, jakiej techniki szacowania używasz (np. Maksymalne prawdopodobieństwo, najmniejsze kwadraty, …

12 sample-size estimation least-squares maximum-likelihood

3

Jak mogę sprawdzić, czy moje grupowanie danych binarnych jest znaczące

Robię analizy koszyka na zakupy. Mój zestaw danych to zbiór wektorów transakcji z produktami, które są kupowane. Kiedy stosuję k-średnich w transakcjach, zawsze otrzymam jakiś wynik. Matryca losowa prawdopodobnie pokazywałaby także niektóre skupienia. Czy istnieje sposób na sprawdzenie, czy skupienie, które znalazłem, jest znaczące, czy też może być bardzo przypadkowe. …

12 clustering statistical-significance binary-data

1

Jak znaleźć punkty próbne, które mają statystycznie znaczące stosunki wartości odstających między dwiema wartościami punktu?

Jako przykładową aplikację rozważ następujące dwie właściwości użytkowników stosu przepełnienia stosu: liczy się reputacja i widok profilu . Oczekuje się, że dla większości użytkowników te dwie wartości będą proporcjonalne: użytkownicy o wysokiej liczbie powtórzeń przyciągają więcej uwagi, a tym samym uzyskują więcej widoków profilu. Dlatego interesujące jest wyszukiwanie użytkowników, którzy …

12 ratio

1

Co pokazuje wykres autokorelacji (pandy)?

Jestem początkującym i staram się zrozumieć, co pokazuje wykres autokorelacji. Przeczytałem kilka wyjaśnień z różnych źródeł, takich jak ta strona lub powiązana strona Wikipedii, między innymi, że nie przytaczam tutaj. Mam ten bardzo prosty kod, w którym mam daty w moim indeksie na rok, a wartości po prostu zwiększają się …

12 python autocorrelation pandas

3

Dzielenie danych szeregów czasowych na zestawy pociągu / testu / walidacji

Jaki jest najlepszy sposób na podzielenie danych szeregów czasowych na zestawy pociągu / testu / walidacji, gdzie zestaw walidacji byłby wykorzystywany do strojenia hiperparametrów? Mamy 3-letnie dzienne dane dotyczące sprzedaży, a naszym planem jest wykorzystanie danych szkoleniowych 2015-2016, a następnie losowe próbkowanie 10 tygodni z danych z 2017 r., Które …

12 time-series cross-validation validation

2

Jak głęboki jest związek między funkcją softmax w ML a rozkładem Boltzmanna w termodynamice?

Funkcja softmax, powszechnie stosowana w sieciach neuronowych do przekształcania liczb rzeczywistych na prawdopodobieństwa, jest taką samą funkcją jak rozkład Boltzmanna, rozkład prawdopodobieństwa nad energiami dla zespołu cząstek w równowadze termicznej w danej temperaturze T w termodynamice. Widzę pewne wyraźne heurystyczne powody, dla których jest to praktyczne: Bez względu na to, …

12 machine-learning neural-networks softmax

2

Dlaczego istnieją zalecenia, aby nie używać Jeffreysa lub priorów opartych na entropii dla samplerów MCMC?

Na swojej stronie wiki twórcy Stana stwierdzają: Niektóre zasady, których nie lubimy: niezmienność, Jeffreys, entropia Zamiast tego widzę wiele normalnych zaleceń dotyczących dystrybucji. Do tej pory korzystałem z metod bayesowskich, które nie polegały na próbkowaniu, i byłem zadowolony, że zrozumiałem, dlaczego był dobrym wyborem dla prawdopodobieństw dwumianowych.θ ∼ Beta ( …

12 bayesian mcmc prior pymc stan

2

Dlaczego nie używamy ważonej średniej arytmetycznej zamiast średniej harmonicznej?

Zastanawiam się, jaka jest wewnętrzna wartość stosowania średniej harmonicznej (na przykład do obliczania miar F), a nie ważonej średniej arytmetycznej w łączeniu precyzji i przypominania? Myślę, że ważona średnia arytmetyczna może odgrywać rolę średniej harmonicznej, czy coś mi brakuje?

12 machine-learning monte-carlo precision-recall harmonic-mean

2

Wybrałeś rozmiar filtra, kroki itp. W CNN?

Patrzyłem na wykłady CS231N z Stanford i staram się ominąć niektóre problemy w architekturach CNN. Próbuję zrozumieć, czy istnieją jakieś ogólne wytyczne dotyczące wybierania rozmiaru filtra splotowego i rzeczy takich jak postępy, czy też jest to bardziej sztuka niż nauka? Rozumiem, że gromadzenie danych istnieje głównie w celu wywołania pewnej …

12 neural-networks deep-learning conv-neural-network

4

Jak istotny jest związek między MLE a entropią krzyżową w głębokim uczeniu się?

I rozumie, że dany zestaw niezależnych obserwacji największej wiarygodności Estymator (lub równoważnie MAP o płaskich / jednolity wcześniej), który identyfikuje Parametry \ mathbf {θ} , które wytwarzają model dystrybucji p_ {wzór} \ left (\, \ cdot \,; \ mathbf {θ} \ right) najlepiej pasujące do tych obserwacjimmmO ={ o( 1 …

12 maximum-likelihood deep-learning cross-entropy

1

Jakie jest dobre zastosowanie t-SNE, oprócz wizualizacji danych?

W jakich sytuacjach powinniśmy używać t-SNE (oprócz wizualizacji danych)? T-SNE służy do redukcji wymiarów. Odpowiedź na to pytanie sugeruje, że t-SNE powinien być używany tylko do wizualizacji i że nie powinniśmy go używać do grupowania. Jakie jest zatem dobre zastosowanie t-SNE?

12 data-visualization dimensionality-reduction tsne

2

Teoria stojąca za argumentem wag w R przy użyciu lm ()

Po roku nauki w szkole, moje rozumienie „ważonych najmniejszych kwadratów” jest następujące: niech , będzie jakaś macierzą projektową, \ boldsymbol \ beta \ in \ mathbb {R} ^ p być wektorem parametrów, \ boldsymbol \ epsilon \ in \ mathbb {R} ^ n być wektorem błędu takim, że \ boldsymbol …

12 r linear-model weighted-regression