Statystyki i duże zbiory danych uncertainty

4

Założenia dotyczące szacunkowych wartości początkowych niepewności

Doceniam przydatność bootstrapu w uzyskiwaniu oszacowań niepewności, ale jedna rzecz, która zawsze mnie martwiła, to to, że rozkład odpowiadający tym oszacowaniom jest rozkładem zdefiniowanym przez próbkę. Ogólnie rzecz biorąc, wydaje się złym pomysłem, aby wierzyć, że nasze częstotliwości próbkowania wyglądają dokładnie jak rozkład leżący u podstaw, więc dlaczego rozsądne / …

62 bootstrap uncertainty

4

Dlaczego dane wyjściowe softmax nie są dobrą miarą niepewności w modelach Deep Learning?

Od jakiegoś czasu pracuję z Convolutional Neural Networks (CNN), głównie nad danymi obrazu do segmentacji semantycznej / segmentacji instancji. Często wizualizowałem softmax wyjścia sieciowego jako „mapę cieplną”, aby zobaczyć, jak wysokie są aktywacje na piksel dla określonej klasy. Zinterpretowałem niskie aktywacje jako „niepewne” / „niepewne”, a wysokie aktywacje jako „pewne” …

22 probability deep-learning conv-neural-network uncertainty softmax

1

Czy mogę przekonwertować macierz kowariancji na niepewności dla zmiennych?

Mam urządzenie GPS, które wyprowadza pomiar hałasu za pomocą macierzy kowariancji :ΣΣ\Sigma Σ = ⎡⎣⎢σx xσyxσx zσx yσyyσyzσx zσyzσzz⎤⎦⎥Σ=[σxxσxyσxzσyxσyyσyzσxzσyzσzz]\Sigma = \left[\begin{matrix} \sigma_{xx} & \sigma_{xy} & \sigma_{xz} \\ \sigma_{yx} & \sigma_{yy} & \sigma_{yz} \\ \sigma_{xz} & \sigma_{yz} & \sigma_{zz} \end{matrix}\right] (tam też zaangażowany ale zignorujmy że na sekundę).ttt Załóżmy, że chcę …

16 covariance measurement-error uncertainty

4

Oszacowanie gęstości jądra uwzględniające niepewności

Podczas wizualizacji danych jednowymiarowych często stosuje się technikę szacowania gęstości jądra w celu uwzględnienia nieprawidłowo wybranych szerokości pojemników. Czy w moim jednowymiarowym zbiorze danych występują niepewności pomiaru, czy istnieje standardowy sposób na włączenie tych informacji? Na przykład (i wybaczcie mi, jeśli moje rozumienie jest naiwne) KDE przekształca profil gaussowski z …

12 uncertainty kde kernel-smoothing

3

Jak najlepiej komunikować niepewność?

Ogromnym problemem w przekazywaniu wyników obliczeń statystycznych mediom i opinii publicznej jest sposób komunikowania niepewności. Z pewnością większość środków masowego przekazu wydaje się lubić twardą i szybką liczbę, chociaż z wyjątkiem stosunkowo niewielkiej liczby przypadków liczby zawsze mają pewną niepewność. Jak więc my, jako statystycy (lub naukowcy opisujący pracę statystyczną), …

12 uncertainty communication

1

Dokładny test Fishera i rozkład hipergeometryczny

Chciałem lepiej zrozumieć dokładny test Fishera, więc wymyśliłem następujący przykład zabawki, w którym f i m odpowiada płci męskiej i żeńskiej, a n i y odpowiada takiemu „zużyciu sody”: > soda_gender f m n 0 5 y 5 0 Oczywiście jest to drastyczne uproszczenie, ale nie chciałem, aby kontekst przeszkadzał. …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

3

Oblicz niepewność nachylenia regresji liniowej na podstawie niepewności danych

Jak obliczyć niepewność nachylenia regresji liniowej na podstawie niepewności danych (być może w programie Excel / Mathematica)? Przykład: miejmy punkty danych (0,0), (1,2), (2,4), (3,6), (4,8), ... (8, 16), ale każda wartość y ma niepewność wynosząca 4. Większość funkcji, które znalazłem, obliczałoby niepewność jako 0, ponieważ punkty idealnie pasują do …

12 regression uncertainty

3

Niezawodność dopasowanej krzywej?

Chciałbym oszacować niepewność lub wiarygodność dopasowanej krzywej. Celowo nie wymieniam dokładnej wielkości matematycznej, której szukam, ponieważ nie wiem, co to jest. Tutaj (energia) jest zmienną zależną (odpowiedź), a (objętość) jest zmienną niezależną. Chciałbym znaleźć krzywą energia-objętość, , jakiegoś materiału. Wykonałem więc obliczenia za pomocą komputerowego programu chemii kwantowej, aby uzyskać …

11 error fitting reliability uncertainty

1

System głosowania, który wykorzystuje dokładność każdego wyborcy i związaną z tym niepewność

Powiedzmy, że mamy proste pytanie „tak / nie”, na które chcemy poznać odpowiedź. I jest N głosujących na poprawną odpowiedź. Każdy wyborca ma historię - listę 1 i 0, pokazującą, czy w przeszłości mieli rację, czy nie. Jeśli założymy, że historia jest rozkładem dwumianowym, możemy znaleźć średnią wydajność wyborców w …

11 accuracy uncertainty weighted-mean voting-system

4

Klasyfikator niepewnych etykiet klas

Załóżmy, że mam zestaw instancji z przypisanymi etykietami klas. Nie ma znaczenia, jak te instancje zostały oznaczone, ale jak pewne jest ich członkostwo w klasie. Każde wystąpienie należy do dokładnie jednej klasy. Powiedzmy, że potrafię oszacować pewność przynależności do każdej klasy za pomocą nominalnego atrybutu, który wynosi od 1 do …

11 classification weka uncertainty

1

Jakie metody graficzne są przydatne do wizualizacji agregacji niepewności?

Mam zestaw systemów, w których gromadzą się w nim niepewności. Nie zawsze są one czysto addytywne - czasem są, a czasem nie. Odniosłem pewne sukcesy w stosowaniu wykresów wachlarzowych, słupkowych z przedziałami ufności i wykresów pudełkowych do komunikowania pojedynczych elementów. Ale w jaki sposób mogę pokazać, w jaki sposób gromadzą …

11 data-visualization confidence-interval uncertainty

2

Szacowanie niepewności w problemach wnioskowania wielowymiarowego bez próbkowania?

Pracuję nad problemem wnioskowania o dużych wymiarach (około 2000 parametrów modelu), dla którego jesteśmy w stanie solidnie przeprowadzić oszacowanie MAP poprzez znalezienie globalnego maksimum log-tylnego przy użyciu kombinacji optymalizacji opartej na gradiencie i algorytmu genetycznego. Bardzo chciałbym mieć możliwość oszacowania niepewności parametrów modelu oprócz znalezienia oszacowania MAP. Jesteśmy w stanie …

9 bayesian uncertainty high-dimensional variational-bayes

1

Który model głębokiego uczenia może klasyfikować kategorie, które nie wykluczają się wzajemnie

Przykłady: w opisie stanowiska mam zdanie: „Starszy inżynier Java w Wielkiej Brytanii”. Chcę użyć modelu głębokiego uczenia się, aby przewidzieć go jako 2 kategorie: English i IT jobs. Jeśli użyję tradycyjnego modelu klasyfikacji, może on przewidzieć tylko 1 etykietę z softmaxfunkcją na ostatniej warstwie. Dlatego mogę użyć 2 modelowych sieci …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

1

Jak porównać obserwowane i oczekiwane zdarzenia?

Załóżmy, że mam jedną próbkę częstotliwości 4 możliwych zdarzeń: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 i mam spodziewane prawdopodobieństwo wystąpienia moich zdarzeń: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dzięki sumie obserwowanych częstotliwości moich czterech zdarzeń (18) mogę obliczyć …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

Pytania otagowane jako uncertainty