Statystyki i duże zbiory danych

2

Kiedy stosować metody regularyzacji do regresji?

W jakich okolicznościach należy rozważyć zastosowanie metod regularyzacji (regresja kalenicy, lasso lub najmniejszych kątów) zamiast OLS? W przypadku gdy pomaga to w prowadzeniu dyskusji, moim głównym zainteresowaniem jest poprawienie dokładności predykcyjnej.

83 regression least-squares lasso ridge-regression fused-lasso

7

Odchylenie i wariancja w walidacji krzyżowej z pominięciem jednego wyjścia a K-krotnie

Jak różnią się różne metody walidacji krzyżowej pod względem wariancji modelu i stronniczości? Moje pytanie jest częściowo motywowane tym wątkiem: optymalna liczba fałdów w krzyżowej walidacji - fold: czy pominięcie CV zawsze jest najlepszym wyborem? KKKK. Odpowiedź sugeruje, że modele wyuczone z krzyżową walidacją typu „pomijaj jeden” mają wyższą wariancję …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

5

Percentyl vs kwantyl vs kwartyl

Jaka jest różnica między trzema poniższymi terminami? percentyl kwantyl kwartyl

83 descriptive-statistics quantiles median percentage

14

Dlaczego solidne (i odporne) statystyki nie zastąpiły klasycznych technik?

Przy rozwiązywaniu problemów biznesowych z wykorzystaniem danych często zdarza się, że co najmniej jedno kluczowe założenie, że klasyczne statystyki poniżej szpilek są nieprawidłowe. Przez większość czasu nikt nie zadaje sobie trudu, aby sprawdzić te założenia, więc tak naprawdę nigdy nie wiadomo. Na przykład, że tak wiele typowych wskaźników internetowych jest …

82 model-selection nonparametric outliers robust philosophical

8

Linia najlepszego dopasowania nie wygląda na dobre dopasowanie. Dlaczego?

Spójrz na ten wykres Excela: Linia najlepszego dopasowania „zdrowego rozsądku” byłaby prawie pionową linią przechodzącą przez środek punktów (edytowaną ręcznie na czerwono). Jednak liniowa linia trendu ustalona przez Excel jest pokazaną ukośną czarną linią. Dlaczego Excel stworzył coś, co (dla ludzkiego oka) wydaje się błędne? Jak mogę stworzyć linię najlepszego …

82 regression excel intuition

2

funkcja aktywacji tanh vs funkcja aktywacji sigmoidalnej

Funkcja aktywacji tanh to: t a n h ( x ) = 2 ⋅ σ( 2 x ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Gdzie , funkcja sigmoidalna jest zdefiniowana jako: σ ( x ) = e xσ( x )σ(x)\sigma(x) .σ( …

82 machine-learning neural-networks optimization cost-maximization

5

Co oznacza „rozwiązanie zamknięte”?

Dość często spotykam się z terminem „rozwiązanie w formie zamkniętej”. Co oznacza rozwiązanie w formie zamkniętej? W jaki sposób można ustalić, czy istnieje rozwiązanie bliskie dla danego problemu? Przeszukując online znalazłem pewne informacje, ale nic w kontekście opracowania statystycznego lub probabilistycznego modelu / rozwiązania. Bardzo dobrze rozumiem regresję, więc jeśli …

82 regression machine-learning probability terminology stochastic-processes

2

Zmodyfikowane twierdzenie Bayesa sformułowane przez XKCD: czy właściwie jest to rozsądne?

Wiem, że pochodzi od komiksu znanego z wykorzystywania pewnych tendencji analitycznych , ale po kilku minutach patrzenia wygląda całkiem rozsądnie. Czy ktoś może nakreślić dla mnie, co robi to „ zmodyfikowane twierdzenie Bayesa ”?

81 bayesian hierarchical-bayesian

3

Co to jest lasso w analizie regresji?

Szukam nietechnicznej definicji lasso i do czego służy.

81 regression lasso regularization shrinkage

4

Jaka jest różnica między modelami z napompowaniem zerowym a przeszkodą?

Zastanawiam się, czy istnieje wyraźna różnica między tak zwanymi rozkładami o zerowym napompowaniu (modele) a tak zwanymi rozkładami o zerowym napompowaniu (modele)? Terminy występują dość często w literaturze i podejrzewam, że nie są takie same, ale czy mógłbyś wyjaśnić mi różnicę w prostych słowach?

81 zero-inflation

3

Czy niezrównoważona próbka ma znaczenie podczas regresji logistycznej?

Ok, więc myślę, że mam wystarczająco przyzwoitą próbkę, biorąc pod uwagę ogólną zasadę 20: 1: dość dużą próbkę (N = 374) dla łącznie 7 potencjalnych zmiennych predykcyjnych. Mój problem jest następujący: bez względu na to, jakiego zestawu zmiennych predykcyjnych używam, klasyfikacje nigdy nie są lepsze niż specyficzność 100% i czułość …

81 regression logistic sample-size unbalanced-classes

10

Intuicyjne zrozumienie „wariancji”

Jaki jest najczystszy i najłatwiejszy sposób wyjaśnić komuś pojęcie wariancji? Co to intuicyjnie znaczy? Jeśli ktoś ma to wytłumaczyć swojemu dziecku, jak by to zrobić? Jest to koncepcja, z którą trudno mi się wyrazić - szczególnie w przypadku powiązania wariancji z ryzykiem. Rozumiem to matematycznie i tak też mogę to …

81 distributions variance standard-deviation inference intuition

6

Czy istnieją przykłady, w których wiarygodne przedziały bayesowskie są oczywiście gorsze od częstych przedziałów ufności

Ostatnie pytanie dotyczące różnicy między zaufaniem a wiarygodnymi przedziałami skłoniło mnie do ponownego przeczytania artykułu Edwina Jaynesa na ten temat: Jaynes, ET, 1976. „Confidence Intervals vs. Bayesian Intervals”, w: Podstawach teorii prawdopodobieństwa, wnioskowania statystycznego i statystycznych teorii nauki, WL Harper i CA Hooker (red.), D. Reidel, Dordrecht, str. 175; ( …

81 bayesian confidence-interval

6

Różnica między przedziałami ufności a przedziałami prognozowania

Dla przedziału predykcji w regresji liniowej nadal korzystać z E [ Y | x ] = ^ P 0 + β 1 x celu wygenerowania odstępu. Używasz tego również do wygenerowania przedziału ufności E [ Y | x 0 ] . Jaka jest różnica między nimi?mi^[ Y| x]= β0^+ β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] …

80 regression confidence-interval predictive-models prediction-interval

9

Jeśli chodzi o wartości p, dlaczego 1% i 5%? Dlaczego nie 6% lub 10%?

Jeśli chodzi o wartości p , zastanawiam się, dlaczego % i % wydaje się być złotym standardem . Dlaczego nie inne wartości, takie jak % lub %?111555"statistical significance"666101010 Czy istnieje ku temu podstawowa przyczyna matematyczna, czy jest to po prostu szeroko stosowana konwencja?

80 hypothesis-testing statistical-significance p-value history