Statystyki i duże zbiory danych

1

Skrzyżowane efekty losowe i niezrównoważone dane

Modeluję niektóre dane, w których, jak sądzę, mam dwa skrzyżowane losowe efekty. Ale zestaw danych nie jest zrównoważony i nie jestem pewien, co należy zrobić, aby to uwzględnić. Moje dane to zestaw zdarzeń. Zdarzenie ma miejsce, gdy klient spotyka się z dostawcą w celu wykonania zadania, które się powiedzie lub …

10 r mixed-model random-effects-model logistic

3

Model liniowy Heteroscedastyczność

Mam następujący model liniowy: Aby rozwiązać problem heteroscedastyczności resztek, próbowałem zastosować transformację logu do zmiennej zależnej jako ale nadal widzę ten sam efekt rozłożenia na resztki. Wartości DV są stosunkowo małe, więc stałe dodanie +1 przed pobraniem dziennika prawdopodobnie nie jest w tym przypadku właściwe.log( Y+ 1 )log⁡(Y+1)\log(Y + 1) …

10 regression data-transformation linear-model heteroscedasticity

3

Czy dwumianowy wyświetlacz wielkości efektu (BESD) wprowadza w błąd reprezentację wielkości efektu?

Trudno mi zaakceptować, że Donald Rubin kiedykolwiek wymyśli prawdziwą cytrynę techniki. Ale takie jest moje postrzeganie BESD [ 1 , 2 , 3 ]. Oryginalny artykuł Rosenthala i Rubina (1982) twierdził, że warto wykazać „jak przekształcić dowolną korelację momentu produktu w taki wyświetlacz [2x2], niezależnie od tego, czy oryginalne dane …

10 interpretation effect-size

3

Jak prognozować na podstawie zagregowanych danych w nieregularnych odstępach czasu?

Staram się prognozować sprzedaż produktów w automatach. Problem polega na tym, że maszyna jest napełniana w nieregularnych odstępach czasu i przy każdym napełnieniu możemy rejestrować tylko zagregowaną sprzedaż od ostatniego napełnienia maszyny (tj. Nie mamy danych o codziennej sprzedaży). Zasadniczo mamy dane dotyczące zagregowanej sprzedaży w nieregularnych odstępach czasu. Odstępy …

10 time-series forecasting

1

Poza jądrem Fishera

Przez pewien czas wydawało się, że jądra Fishera mogą stać się popularne, ponieważ wydają się być sposobem na konstruowanie jąder z modeli probabilistycznych. Rzadko jednak widywałem je w praktyce i mam dobry autorytet, że nie działają zbyt dobrze. Opierają się na obliczeniach Fisher Information - cytując Wikipedię: informacja Fishera jest …

10 machine-learning probability kernel-trick generative-models

1

Radzenie sobie z bardzo dużymi zestawami danych szeregów czasowych

Mam dostęp do bardzo dużego zestawu danych. Dane pochodzą z nagrań MEG osób słuchających fragmentów muzycznych z jednego z czterech gatunków. Dane są następujące: 6 tematów 3 eksperymentalne powtórzenia (epoki) 120 prób na epokę 8 sekund danych na próbę przy 500 Hz (= 4000 próbek) z 275 kanałów MEG Każdy …

10 machine-learning feature-selection large-data feature-construction

2

Jak przeprowadzić regresję procesu Gaussa, gdy aproksymowana funkcja zmienia się w czasie?

Jakie są dobre strategie przeprowadzania regresji procesu Gaussa, gdy funkcja, którą próbuję aproksymować, zmienia się w czasie? Naiwne podejście, jakie przychodzi mi do głowy, polega na wykorzystaniu tylko N najnowszych punktów danych do przeprowadzenia regresji. Jakie są lepsze strategie?

10 regression online gaussian-process

3

Automatyczne czyszczenie danych

Częstym problemem jest brak dobrej jakości danych ML: błędy w wartościach funkcji, błędne klasyfikacje instancji itp. Jednym ze sposobów rozwiązania tego problemu jest ręczne przejrzenie danych i sprawdzenie, ale czy istnieją inne techniki? (Założę się, że są!) Które są lepsze i dlaczego?

10 data-cleaning

1

Pomoc w modelowaniu SEM (OpenMx, polycor)

Mam wiele problemów z jednym zestawem danych, do którego próbuję zastosować SEM. Przypuszczamy istnienie 5 ukrytych czynników A, B, C, D, E ze wskaźnikami odpowiednio. A1 do A5 (czynniki uporządkowane), B1 do B3 (ilościowo), C1, D1, E1 (wszystkie trzy ostatnie czynniki uporządkowane, z tylko 2 poziomami dla E1. Interesują nas …

10 r modeling multiple-regression sem

3

Podejścia przy uczeniu się z ogromnych zestawów danych?

Zasadniczo istnieją dwa typowe sposoby uczenia się przeciwko ogromnym zestawom danych (gdy napotykasz ograniczenia czasowe / przestrzenne): Oszukiwanie :) - użyj tylko „zarządzalnego” podzbioru do treningu. Utrata dokładności może być nieistotna z uwagi na prawo malejących zwrotów - predykcyjne działanie modelu często spłaszcza się na długo przed włączeniem do niego …

10 machine-learning large-data model-evaluation train

3

Dlaczego istnieje wartość R ^ 2 (i co ją determinuje), gdy lm nie ma wariancji w przewidywanej wartości?

Rozważ następujący kod R: example <- function(n) { X <- 1:n Y <- rep(1,n) return(lm(Y~X)) } #(2.13.0, i386-pc-mingw32) summary(example(7)) #R^2 = .1963 summary(example(62)) #R^2 = .4529 summary(example(4540)) #R^2 = .7832 summary(example(104))) #R^2 = 0 #I did a search for n 6:10000, the result for R^2 is NaN for #n = …

10 r regression

1

Czy MFCC są optymalną metodą reprezentowania muzyki w systemie pobierania?

Technika przetwarzania sygnału, Mel Cepstrum , jest często używana do wydobywania informacji z utworu muzycznego w celu wykorzystania go w zadaniu uczenia maszynowego. Ta metoda daje krótkoterminowe spektrum mocy, a współczynniki są wykorzystywane jako dane wejściowe. Przy projektowaniu systemów wyszukiwania muzyki takie współczynniki są uważane za charakterystyczne dla danego utworu …

10 machine-learning classification signal-processing mfcc

3

Oczekiwana liczba rzutów monetą, aby uzyskać N z rzędu, biorąc pod uwagę M z rzędu

Interviewstreet miał swój drugi CodeSprint w styczniu, który zawierał poniższe pytanie. Odpowiedź programowa jest opublikowana, ale nie zawiera wyjaśnienia statystycznego. (Możesz zobaczyć oryginalny problem i opublikowane rozwiązanie, logując się na stronie Interviewstreet przy użyciu danych Google, a następnie przechodząc do problemu Monety na tej stronie ). Monety Monety Masz bezstronną …

10 probability stochastic-processes markov-process

3

Powtarzane miary modelowania równań strukturalnych

Muszę przeanalizować zbiór danych dotyczących rehabilitacji klinicznej. Interesują mnie oparte na hipotezie związki między skwantyfikowanym „wkładem” (ilością terapii) a zmianami stanu zdrowia. Chociaż zbiór danych jest stosunkowo niewielki (n ~ 70), powtórzyliśmy dane odzwierciedlające zmiany czasowe w obu przypadkach. Jestem zaznajomiony z nieliniowym modelowaniem efektów mieszanych w R, jednak interesują …

10 r repeated-measures panel-data sem

2

Przedział ufności dla chi-kwadrat

Próbuję znaleźć rozwiązanie, aby porównać dwa testy „dobroci dopasowania chi-kwadrat”. Dokładniej, chcę porównać wyniki z dwóch niezależnych eksperymentów. W tych eksperymentach autorzy wykorzystali chi-kwadrat dobroci dopasowania, aby porównać losowe zgadywanie (częstotliwości oczekiwane) z częstotliwościami obserwowanymi. Dwa eksperymenty otrzymały taką samą liczbę uczestników, a procedury eksperymentalne są identyczne, zmieniono tylko bodźce. …

10 r confidence-interval chi-squared