Statystyki i duże zbiory danych

4

Jak przeprowadzić dwupróbkowe testy T w R, wprowadzając przykładowe statystyki zamiast surowych danych?

Powiedzmy, że mamy podane poniżej statystyki gender mean sd n f 1.666667 0.5773503 3 m 4.500000 0.5773503 4 W jaki sposób przeprowadzasz dwupróbkowy test t (aby sprawdzić, czy istnieje znacząca różnica między średnimi mężczyzn i kobiet w niektórych zmiennych) przy użyciu takich statystyk, a nie rzeczywistych danych? Nie mogłem znaleźć …

32 r t-test

6

Dlaczego Entropia jest zmaksymalizowana, gdy rozkład prawdopodobieństwa jest jednolity?

Wiem, że entropia jest miarą losowości procesu / zmiennej i można ją zdefiniować w następujący sposób. dla losowej zmiennej zestawie : - . W książce na temat Entropii i teorii informacji MacKaya podaje to oświadczenie w Ch2A H ( X ) = ∑ x i ∈ A - p ( …

32 uniform entropy maximum-entropy

4

Jak obliczyć poziom ufności dla rozkładu Poissona?

Chciałbym wiedzieć, jak pewny siebie mogę być w mojej λλ\lambda . Czy ktoś zna sposób na ustawienie górnego i dolnego poziomu ufności dla rozkładu Poissona? Obserwacje ( nnn ) = 88 Średnia próbki ( λλ\lambda ) = 47,18182 jak wyglądałoby w tym przypadku 95% zaufania?

32 poisson-distribution confidence-interval

5

Zrozumienie jednostek LSTM vs. komórek

Przez jakiś czas studiowałem LSTM. Rozumiem na wysokim poziomie, jak wszystko działa. Jednak zamierzając je zaimplementować za pomocą Tensorflow, zauważyłem, że BasicLSTMCell wymaga szeregunum_units parametrów (tj. ) Parametrów. Z tego bardzo dokładnego wyjaśnienia LSTM wynika, że jedna jednostka LSTM jest jedną z poniższych który w rzeczywistości jest jednostką GRU. Zakładam, …

32 neural-networks terminology lstm rnn tensorflow

1

Architektury CNN do regresji?

Pracowałem nad problemem regresji, w którym dane wejściowe to obraz, a etykieta ma wartość ciągłą od 80 do 350. Obrazy mają związek chemiczny po zajściu reakcji. Kolor, który się okazuje, wskazuje stężenie innej chemikaliów, która pozostała, i to właśnie model ma wytworzyć - stężenie tej substancji chemicznej. Obrazy można obracać, …

32 regression machine-learning neural-networks conv-neural-network tensorflow

9

Wyprowadzanie równania Bellmana w uczeniu się zbrojenia

Widzę następujące równanie w „ In Reinforcement Learning. An Introduction ”, ale nie do końca podążam za krokiem, który zaznaczyłem na niebiesko poniżej. Jak dokładnie pochodzi ten krok?

32 expected-value reinforcement-learning

1

Konsekwencje nierówności korelacji Gaussa dla obliczania wspólnych przedziałów ufności

Zgodnie z tym bardzo interesującym artykułem w magazynie Quanta: „Długo poszukiwany dowód, znaleziony i prawie zagubiony” - udowodniono, że biorąc pod uwagę wektor posiadający wielowymiarowy Rozkład Gaussa i podane przedziały wyśrodkowane wokół średnich odpowiednich składników , a następniex=(x1,…,xn)x=(x1,…,xn)\mathbf{x}=(x_1,\dots,x_n)I1,…,InI1,…,InI_1,\dots,I_n xx\mathbf{x} p(x1∈I1,…,xn∈In)≥∏i=1np(xi∈Ii)p(x1∈I1,…,xn∈In)≥∏i=1np(xi∈Ii)p(x_1\in I_1, \dots, x_n\in I_n)\geq \prod_{i=1}^n p(x_i\in I_i) (Nierówność korelacji gaussowskiej …

31 normal-distribution confidence-interval multivariate-normal

4

Czy wynik egzaminu jest dwumianowy?

Oto proste pytanie statystyczne, które otrzymałem. Nie jestem pewien, czy to rozumiem. X = liczba zdobytych punktów na egzaminie (wielokrotny wybór i prawidłowa odpowiedź to jeden punkt). Czy X jest dwumianowy? Odpowiedź profesora brzmiała: Tak, ponieważ są tylko dobre lub złe odpowiedzi. Moja odpowiedź: Nie, ponieważ każde pytanie ma inne …

31 self-study binomial

2

Przeprowadzanie testu statystycznego po wizualizacji danych - pogłębianie danych?

Zaproponuję to pytanie za pomocą przykładu. Załóżmy, że mam zestaw danych, na przykład zestaw danych cen mieszkań w Bostonie, w którym mam zmienne ciągłe i kategoryczne. Tutaj mamy zmienną „jakości”, od 1 do 10, oraz cenę sprzedaży. Mogę rozdzielić dane na domy o „niskiej”, „średniej” i „wysokiej” jakości (arbitralnie), tworząc …

31 hypothesis-testing data-visualization p-value dataset inference

2

Regresja logistyczna: Scikit Learn vs Statsmodels

Próbuję zrozumieć, dlaczego wyniki regresji logistycznej tych dwóch bibliotek dają różne wyniki. Używam zestawu danych z UCLA Idre poradnik , przewidywania admitna podstawie gre, gpai rank. rankjest traktowany jako zmienna kategorialna, dlatego najpierw jest konwertowany na zmienną fikcyjną rank_1. Dodano także kolumnę przechwytującą. df = pd.read_csv("https://stats.idre.ucla.edu/stat/data/binary.csv") y, X = dmatrices('admit …

31 regression logistic python scikit-learn statsmodels

6

Czy parsimony naprawdę powinno być złotym standardem?

Tylko myśl: Modele oszczędne zawsze były domyślnym wyborem przy wyborze modelu, ale w jakim stopniu to podejście jest przestarzałe? Jestem ciekawy, jak bardzo nasza skłonność do parsimony jest reliktem czasów zasad abaci i slajdu (lub, mówiąc poważniej, nienowoczesnych komputerów). Dzisiejsza moc obliczeniowa pozwala nam budować coraz bardziej złożone modele o …

31 predictive-models model-selection model

4

Jakie są względne zalety danych Winsorizing vs. Trimming?

Winsorizing danych oznacza zastąpienie ekstremalnych wartości zestawu danych pewną wartością percentyla z każdego końca, natomiast przycinanie lub obcinanie wymaga usunięcia tych ekstremalnych wartości. Zawsze widzę obie metody omawiane jako realną opcję zmniejszenia efektu wartości odstających podczas obliczania statystyk, takich jak średnia lub odchylenie standardowe, ale nie widziałem, dlaczego można wybrać …

31 standard-deviation mean truncation trimmed-mean winsorizing

3

Grupowanie długiej listy ciągów (słów) w grupy podobieństwa

Mam pod ręką następujący problem: Mam bardzo długą listę słów, ewentualnie imion, nazwisk itp. Muszę utworzyć listę słów w taki sposób, aby podobne słowa, na przykład słowa o podobnej odległości edycji (Levenshtein) pojawiły się w ten sam klaster. Na przykład „algorytm” i „alogrithm” powinny mieć duże szanse na pojawienie się …

31 clustering k-means pattern-recognition

2

Czy dokładna wartość „wartości p” nie ma znaczenia?

W 2009 r. Rozmawiałem ze statystykiem, w którym stwierdził, że dokładna wartość wartości p jest nieistotna: jedyne, co jest ważne, to, czy jest ona znacząca, czy nie. Tj. Jeden wynik nie może być ważniejszy od drugiego; na przykład twoje próbki pochodzą z tej samej populacji lub nie. Mam z tym …

31 statistical-significance p-value bonferroni

3

Budowanie autokodera w Tensorflow, aby przewyższyć PCA

Hinton i Salakhutdinov w zmniejszaniu wymiarów danych za pomocą sieci neuronowych Science 2006 zaproponowali nieliniowe PCA poprzez zastosowanie głębokiego autoencodera. Kilka razy próbowałem zbudować i wyszkolić autoencoder PCA z Tensorflow, ale nigdy nie byłem w stanie uzyskać lepszego wyniku niż liniowy PCA. Jak mogę skutecznie trenować autoencoder? (Późniejsza edycja przez …

31 pca python deep-learning tensorflow autoencoders