Gdy dane przedstawiają brak informacji (braki), tj. Nie są kompletne. Dlatego ważne jest, aby wziąć pod uwagę tę funkcję podczas wykonywania analizy lub testu.
Mam tabelę danych T1, która zawiera prawie tysiąc zmiennych (V1) i około 200 milionów punktów danych. Dane są rzadkie, a większość wpisów to NA. Każdy punkt danych ma unikalną parę identyfikatora i daty, aby odróżnić je od innych. Mam inną tabelę T2, która zawiera osobny zestaw zmiennych (V2). Ta tabela …
Mam zbiór danych na temat prób rolnych. Moja zmienna odpowiedzi to stosunek odpowiedzi: log (leczenie / kontrola). Interesuje mnie, co pośredniczy w różnicy, więc prowadzę meta-regresje RE (nieważone, ponieważ wydaje się całkiem jasne, że wielkość efektu nie jest skorelowana z wariancją szacunków). Każde badanie podaje plon ziarna, plon biomasy lub …
Kontekst : regresja hierarchiczna z pewnymi brakującymi danymi. Pytanie : Jak wykorzystać oszacowanie maksymalnego prawdopodobieństwa (FIML) pełnej informacji w celu usunięcia brakujących danych w R? Czy polecasz pakiet i jakie są typowe kroki? Bardzo pomocne byłyby również zasoby i przykłady online. PS : Jestem socjologiem, który niedawno zaczął używać R. …
Dane podstawowe : mam ~ 1000 osób oznaczonych ocenami: „1”, „dobry”, „2”, „środkowy] lub„ 3 ”[zły] - to wartości, które staram się przewidzieć dla ludzi w przyszłości . Oprócz tego mam pewne informacje demograficzne: płeć (kategorycznie: M / K), wiek (liczbowo: 17-80) i rasę (kategorycznie: czarny / kaukaski / latino). …
Badano losową próbę populacji. Zapytano ich, czy jedzą dietę wegetariańską. Jeśli odpowiedzieli „tak”, poproszono ich również o określenie, jak długo bez przerwy je dietę wegetariańską. Chcę wykorzystać te dane do obliczenia średniej długości przestrzegania zasady wegetarianizmu. Innymi słowy, kiedy ktoś zostaje wegetarianinem, chcę wiedzieć, że średnio długo pozostaje wegetarianinem. Załóżmy, …
Mam duży zestaw danych o zanieczyszczeniach, które są rejestrowane co 10 minut w ciągu 2 lat, jednak istnieje wiele luk w danych (w tym niektóre, które pojawiają się przez kilka tygodni na raz). Dane wydają się dość sezonowe i istnieje duża zmienność w ciągu dnia w porównaniu do nocy, w …
Jestem pod wrażeniem forecastpakietu R , a także np. zooPakietu dla nieregularnych szeregów czasowych i interpolacji brakujących wartości. Moja aplikacja jest w zakresie prognozowania ruchu w call center, więc danych w weekendy (prawie) zawsze brakuje (prawie), co można ładnie obsłużyć zoo. Ponadto może brakować niektórych dyskretnych punktów, po prostu używam …
Eksperymentuję z algorytmem maszyny do zwiększania gradientu za pośrednictwem caretpakietu w R. Korzystając z małego zestawu danych o przyjęciach na studia, uruchomiłem następujący kod: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …
Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny, Mann-Whitney-U-testktóry prowadziłby do utraty większej ilości informacji. Jednak nie należy zapominać o jednym …
Wiem, że to może być trochę ryzykowne statystycznie, ale to mój problem. Mam wiele danych zakresu, to znaczy minimalną, maksymalną i wielkość próbki zmiennej. Dla niektórych z tych danych mam również średnią, ale nie wiele. Chcę porównać te zakresy ze sobą, aby obliczyć zmienność każdego zakresu, a także porównać średnie. …
Wydaje się, że nie ma standardowego sposobu radzenia sobie z brakującymi danymi w kontekście rodziny modeli wygładzania wykładniczego. W szczególności implementacja R zwana ets w pakiecie prognozy wydaje się brać najdłuższą podsekwencję bez brakujących danych, a książka „Prognozowanie z wygładzaniem wykładniczym” Hyndmana i in. wydaje się wcale nie mówić o …
Jakie są metody klasyfikacji danych o zmiennej liczbie funkcji? Jako przykład rozważmy problem, w którym każdy punkt danych jest wektorem punktów xiy, a my nie mamy takiej samej liczby punktów dla każdej instancji. Czy możemy traktować każdą parę punktów xiy jako cechę? A może powinniśmy w jakiś sposób podsumować punkty, …
Te dwa razy wyjaśniłem wiele razy. Nadal gotują mój mózg. Brakujące w losowo ma sens bycia, a brakujące całkowicie w losowym ma sens ... to brakujące w losowy sposób nie ma aż tak wielkiego znaczenia. Co powoduje powstanie danych, które byłyby MAR, ale nie MCAR?
Chciałbym użyć imputacji do zastąpienia brakujących wartości w moim zbiorze danych z pewnymi ograniczeniami. Na przykład chciałbym, aby zmienna przypisana x1była większa lub równa sumie moich dwóch innych zmiennych, powiedzmy x2i x3. Chcę też x3zostać przypisany przez jeden 0lub >= 14i chcę x2zostać przypisany przez jeden 0lub >= 16. Próbowałem …
Czytam Multivariable Model Building: Pragmatyczne podejście do analizy regresji w oparciu o ułamkowe wielomiany do modelowania zmiennych ciągłych przez Patrick Royston i Willie Sauerbrei. Jak dotąd jestem pod wrażeniem i jest to interesujące podejście, którego wcześniej nie rozważałem. Ale autorzy nie zajmują się brakującymi danymi. Rzeczywiście, na str. 17 twierdzą, …
Używamy plików cookie i innych technologii śledzenia w celu poprawy komfortu przeglądania naszej witryny, aby wyświetlać spersonalizowane treści i ukierunkowane reklamy, analizować ruch w naszej witrynie, i zrozumieć, skąd pochodzą nasi goście.
Kontynuując, wyrażasz zgodę na korzystanie z plików cookie i innych technologii śledzenia oraz potwierdzasz, że masz co najmniej 16 lat lub zgodę rodzica lub opiekuna.