Statystyki i duże zbiory danych

4

Ocena przybliżonego rozkładu danych na podstawie histogramu

Załóżmy, że chcę sprawdzić, czy moje dane są wykładnicze na podstawie histogramu (tzn. Są przekrzywione w prawo). W zależności od sposobu grupowania lub binowania danych mogę uzyskać bardzo różne histogramy. Jeden zestaw histogramów sprawi, że dane będą miały charakter wykładniczy. Kolejny zestaw sprawi, że dane nie będą wykładnicze. Jak sprawić, …

111 distributions data-visualization histogram binning

6

Czy należy usunąć wysoce skorelowane zmienne przed wykonaniem PCA?

Czytam artykuł, w którym autor odrzuca kilka zmiennych ze względu na wysoką korelację z innymi zmiennymi przed wykonaniem PCA. Łączna liczba zmiennych wynosi około 20. Czy to daje jakieś korzyści? Wygląda mi to na ogólne obciążenie, ponieważ PCA powinna sobie z tym poradzić automatycznie.

111 correlation pca

2

Gradient Boosting Tree vs Random Forest

Zwiększanie drzewa gradientowego, jak zaproponował Friedman, wykorzystuje drzewa decyzyjne jako podstawowych uczniów. Zastanawiam się, czy powinniśmy uczynić podstawowe drzewo decyzyjne tak złożonym, jak to możliwe (w pełni rozwinięte) czy prostszym? Czy istnieje jakieś wyjaśnienie wyboru? Random Forest to kolejna metoda zespołowa, w której drzewa decyzyjne są podstawowymi uczniami. W oparciu …

110 machine-learning random-forest cart boosting ensemble

3

Co jeśli resztki są normalnie rozłożone, ale y nie jest?

Mam dziwne pytanie. Załóżmy, że masz małą próbkę, w której zmienna zależna, którą zamierzasz przeanalizować za pomocą prostego modelu liniowego, jest mocno pochylona. Zatem zakładasz, że nie jest normalnie dystrybuowany, ponieważ spowodowałoby to normalną dystrybucję . Ale podczas obliczania wykresu QQ-Normal istnieją dowody, że reszty są zwykle rozkładane. Zatem każdy …

110 regression residuals error normality-assumption

8

Wykrywanie danej twarzy w bazie danych zdjęć twarzy

Pracuję nad małym projektem z udziałem twarzy użytkowników Twittera za pośrednictwem ich zdjęć profilowych. Problem, z którym się spotkałem, to fakt, że po odfiltrowaniu wszystkich zdjęć oprócz tych, które są wyraźnymi zdjęciami portretowymi, niewielki, ale znaczny odsetek użytkowników Twittera używa zdjęcia Justina Biebera jako swojego profilu. Aby je odfiltrować, w …

110 machine-learning clustering image-processing

6

Jak wyjaśniłbyś różnicę między korelacją a kowariancją?

W odpowiedzi na to pytanie, jak wyjaśniłbyś kowariancję komuś, kto rozumie tylko środek? , który dotyczy kwestii wyjaśniania kowariancji świeckim, przywołał podobne pytanie. Jak wyjaśnić statystykom różnicę między kowariancją a korelacją ? Wygląda na to, że oba odnoszą się do zmiany jednej zmiennej powiązanej z inną zmienną. Podobnie jak w …

109 correlation covariance

10

Dlaczego rozkład Cauchy'ego nie ma znaczenia?

Na podstawie funkcji gęstości rozkładu możemy zidentyfikować średnią (= 0) dla rozkładu Cauchy'ego, tak jak pokazano na poniższym wykresie. Ale dlaczego mówimy, że dystrybucja Cauchy'ego nie ma znaczenia?

109 distributions mathematical-statistics mean pdf cauchy

15

Wyniki wyborów w USA 2016: Co poszło nie tak z modelami prognostycznymi?

Najpierw był Brexit , teraz wybory w USA. Wiele prognoz modelowych zostało znacznie zmniejszonych i czy można się z nich wyciągnąć wnioski? Jeszcze wczoraj o 16:00 czasu PST rynki bukmacherskie nadal faworyzowały Hillary od 4 do 1. Uważam, że rynki bukmacherskie z prawdziwymi pieniędzmi na linii powinny działać jako zestaw …

108 predictive-models ensemble confounding

5

Jak działa Support Vector Machine (SVM)?

Jak działa maszyna wektorów nośnych (SVM) i co ją odróżnia od innych klasyfikatorów liniowych, takich jak liniowy perceptron , liniowa analiza dyskryminacyjna lub regresja logistyczna ? * (* Myślę o podstawowych motywach algorytmu, strategiach optymalizacji, możliwościach generalizacji i złożoności w czasie wykonywania )

108 machine-learning classification svm statistical-learning

4

Jaka jest reguła .632+ podczas ładowania?

Tutaj @gung odnosi się do reguły .632+. Szybkie wyszukiwanie w Google nie daje łatwej do zrozumienia odpowiedzi na pytanie, co oznacza ta reguła i do jakiego celu jest używana. Czy ktoś mógłby wyjaśnić zasadę .632+?

107 bootstrap

6

Czy istnieje intuicyjna interpretacja

Dla danej macierzy danych (ze zmiennymi w kolumnach i punktami danych w wierszach) wydaje się, że A T A odgrywa ważną rolę w statystyce. Na przykład jest to ważna część analitycznego rozwiązania zwykłych najmniejszych kwadratów. Lub, w przypadku PCA, jego wektory własne są głównymi składnikami danych.ZAAAZAT.ZAATAA^TA Rozumiem, jak obliczyć , …

107 matrix covariance-matrix correlation-matrix

5

Jakie umiejętności są wymagane do wykonywania analiz statystycznych na dużą skalę?

Wiele prac statystycznych wymaga doświadczenia z danymi na dużą skalę. Jakie są umiejętności statystyczne i obliczeniowe, które byłyby potrzebne do pracy z dużymi zestawami danych. Na przykład, co powiesz na budowanie modeli regresji z zestawem danych z 10 milionami próbek?

107 regression machine-learning multivariate-analysis large-data

21

Jaki jest przykład „nadmiernego dopasowania” w świecie rzeczywistym?

W pewnym sensie rozumiem, co oznacza „nadmierne dopasowanie”, ale potrzebuję pomocy, aby znaleźć prawdziwy przykład, który dotyczy nadmiernego dopasowania.

107 overfitting

7

Dlaczego dokładność nie jest najlepszym miernikiem do oceny modeli klasyfikacji?

To jest ogólne pytanie, które zostało tutaj zadane pośrednio wiele razy, ale nie ma jednej wiarygodnej odpowiedzi. Byłoby wspaniale mieć szczegółową odpowiedź na to pytanie. Dokładność , odsetek poprawnych klasyfikacji wśród wszystkich klasyfikacji, jest bardzo prostą i bardzo „intuicyjną” miarą, ale może być słabą miarą w przypadku niezrównoważonych danych . …

107 machine-learning classification accuracy model-evaluation scoring-rules

6

Co oznacza splot 1x1 w sieci neuronowej?

Obecnie prowadzę samouczek dogłębnej nauki Udacity. W lekcji 3 rozmawiają o zwoju 1x1. Ten splot 1x1 jest używany w module Google Inception. Mam problem ze zrozumieniem, czym jest splot 1x1. Widziałem również ten post przez Yann Lecun. Czy ktoś mógłby mi to wyjaśnić?

106 neural-networks deep-learning convolution conv-neural-network