Statystyki i duże zbiory danych intuition

9

Czy istnieje intuicyjne wyjaśnienie, dlaczego wielokoliniowość stanowi problem w regresji liniowej?

Wiki omawia problemy, które powstają, gdy wielokoliniowość jest problemem regresji liniowej. Podstawowym problemem jest to, że wielokoliniowość powoduje niestabilne oszacowanie parametrów, co bardzo utrudnia ocenę wpływu zmiennych niezależnych na zmienne zależne. Rozumiem techniczne przyczyny problemów (może nie być w stanie odwrócić , źle warunkowane itp.), Ale szukam bardziej intuicyjnego (być …

85 regression intuition multicollinearity

8

Linia najlepszego dopasowania nie wygląda na dobre dopasowanie. Dlaczego?

Spójrz na ten wykres Excela: Linia najlepszego dopasowania „zdrowego rozsądku” byłaby prawie pionową linią przechodzącą przez środek punktów (edytowaną ręcznie na czerwono). Jednak liniowa linia trendu ustalona przez Excel jest pokazaną ukośną czarną linią. Dlaczego Excel stworzył coś, co (dla ludzkiego oka) wydaje się błędne? Jak mogę stworzyć linię najlepszego …

82 regression excel intuition

10

Intuicyjne zrozumienie „wariancji”

Jaki jest najczystszy i najłatwiejszy sposób wyjaśnić komuś pojęcie wariancji? Co to intuicyjnie znaczy? Jeśli ktoś ma to wytłumaczyć swojemu dziecku, jak by to zrobić? Jest to koncepcja, z którą trudno mi się wyrazić - szczególnie w przypadku powiązania wariancji z ryzykiem. Rozumiem to matematycznie i tak też mogę to …

81 distributions variance standard-deviation inference intuition

13

Jaka jest rola logarytmu w entropii Shannona?

Entropia Shannona jest ujemną z sumy prawdopodobieństw każdego wyniku pomnożonej przez logarytm prawdopodobieństwa każdego wyniku. Jaki cel służy logarytmowi w tym równaniu? Intuicyjna lub wizualna odpowiedź (w przeciwieństwie do głęboko matematycznej odpowiedzi) otrzyma dodatkowe punkty!

72 entropy intuition sequence-analysis

8

Co oznacza „zmienna losowa”?

Co mają na myśli, gdy mówią „zmienna losowa”?

69 mathematical-statistics random-variable intuition definition

18

Pytania do wywiadu statystycznego

Szukam statystyk (i prawdopodobnie prawdopodobieństwa) pytań do wywiadu, od najbardziej podstawowych po bardziej zaawansowane. Odpowiedzi nie są konieczne (chociaż linki do konkretnych pytań na tej stronie byłyby dobre).

65 intuition careers

4

Co jest takiego „momentem” w „momentach” rozkładu prawdopodobieństwa?

WIEM, jakie są momenty i jak je obliczyć oraz jak korzystać z funkcji generowania momentu w celu uzyskania momentów wyższego rzędu. Tak, znam matematykę. Teraz, gdy muszę posmarować swoją wiedzę statystyczną do pracy, pomyślałem, że równie dobrze mogę zadać to pytanie - dręczy mnie to od kilku lat i po …

65 distributions terminology moments intuition

4

Intuicyjne wyjaśnienie informacji Fisher i Cramer-Rao

Nie podoba mi się informacja Fishera, co mierzy i jak jest pomocna. Również związek z Cramer-Rao nie jest dla mnie oczywisty. Czy ktoś może podać intuicyjne wyjaśnienie tych pojęć?

59 estimation intuition fisher-information

13

Czy 10 głów z rzędu zwiększa szansę, że następnym rzutem będzie ogon?

Zakładam, że jest to prawdą: zakładanie uczciwej monety, zdobywanie 10 głów z rzędu podczas rzucania monetą nie zwiększa szansy na to, że następnym rzutem monetą będzie ogon , bez względu na to, jakie prawdopodobieństwo i / lub żargon statystyczny jest rzucany (przepraszam za kalambury). Zakładając, że tak jest, moje pytanie …

57 probability independence intuition games bernoulli-process

2

Dlaczego skurcz działa?

W celu rozwiązania problemów związanych z wyborem modelu, szereg metod (LASSO, regresja kalenicy itp.) Zmniejszy współczynniki zmiennych predykcyjnych w kierunku zera. Szukam intuicyjnego wyjaśnienia, dlaczego poprawia to zdolność przewidywania. Jeśli prawdziwy efekt zmiennej był w rzeczywistości bardzo duży, dlaczego skurczenie parametru nie spowoduje gorszej prognozy?

55 lasso regularization ridge-regression intuition shrinkage

5

Jakie jest intuicyjne wyjaśnienie, w jaki sposób PCA zmienia się z problemu geometrycznego (z odległościami) w problem algebry liniowej (z wektorami własnymi)?

Dużo czytałem o PCA, w tym różne tutoriale i pytania (takie jak ten , ten , ten i ten ). Geometryczny problem, który PCA próbuje zoptymalizować, jest dla mnie jasny: PCA próbuje znaleźć pierwszy główny składnik, minimalizując błąd rekonstrukcji (projekcji), który jednocześnie maksymalizuje wariancję rzutowanych danych. Kiedy po raz pierwszy …

54 pca optimization linear-algebra intuition

3

Jaka jest intuicja stojąca za SVD?

Czytałem o rozkładzie wartości pojedynczej (SVD). W prawie wszystkich podręcznikach wspomniano, że rozkłada macierz na trzy macierze o podanej specyfikacji. Ale jaka jest intuicja dzielenia macierzy w takiej formie? PCA i inne algorytmy redukcji wymiarów są intuicyjne w tym sensie, że algorytm ma ładną właściwość wizualizacji, ale w przypadku SVD …

50 matrix linear-algebra svd intuition

4

Dlaczego współczynnik korelacji między zmiennymi losowymi X i XY wynosi zwykle 0,7

Zaczerpnięte z praktycznych statystyk badań medycznych, gdzie Douglas Altman pisze na stronie 285: ... dla dowolnych dwóch wielkości X i Y, X będzie skorelowane z XY. Rzeczywiście, nawet jeśli X i Y są próbkami liczb losowych, spodziewalibyśmy się, że korelacja X i XY wyniesie 0,7 Próbowałem tego w R i …

49 correlation random-variable intuition

6

Co to są zmienne losowe iid?

Jak poszedłbyś wyjaśnić iid (niezależne i identycznie rozpowszechniane) osobom nietechnicznym?

49 random-variable intuition

5

Intuicja na temat dywergencji Kullbacka-Leiblera (KL)

Dowiedziałem się o intuicji stojącej za dywergencją KL, jak bardzo funkcja rozkładu modelu różni się od teoretycznego / prawdziwego rozkładu danych. Źródłem Czytam mówi dalej, że intuicyjne rozumienie „odległość” między tymi dwoma dystrybucjami jest pomocny, ale nie powinny być brane dosłownie, bo dla dwóch rozkładów i , KL Rozbieżność nie …

47 distributions distance intuition kullback-leibler

Pytania otagowane jako intuition