Elegancki sposób zgłaszania brakujących wartości w data.frame

Oto mały fragment kodu, który napisałem, aby zgłosić zmienne z brakującymi wartościami z ramki danych. Próbuję wymyślić bardziej elegancki sposób, aby to zrobić, taki, który być może zwraca ramkę danych, ale utknąłem:

for (Var in names(airquality)) {
    missing <- sum(is.na(airquality[,Var]))
    if (missing > 0) {
        print(c(Var,missing))
    }
}

Edycja: mam do czynienia z ramkami data.frames zawierającymi dziesiątki lub setki zmiennych, więc kluczowe jest, abyśmy raportowali tylko zmienne z brakami danych.

Po prostu użyj sapply

> sapply(airquality, function(x) sum(is.na(x)))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

Możesz także użyć applylub colSumsna macierzy utworzonej przezis.na()

> apply(is.na(airquality),2,sum)
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0
> colSums(is.na(airquality))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0 

Możemy użyć map_dfz mruczeniem.

library(mice)
library(purrr)

# map_df with purrr
map_df(airquality, function(x) sum(is.na(x)))
# A tibble: 1 × 6
# Ozone Solar.R  Wind  Temp Month   Day
# <int>   <int> <int> <int> <int> <int>
# 1    37       7     0     0     0     0

Moim nowym ulubionym (niezbyt szerokim) danymi są metody z doskonałego pakietu naniar . Otrzymujesz nie tylko częstotliwości, ale także wzorce braków:

library(naniar)
library(UpSetR)

riskfactors %>%
  as_shadow_upset() %>%
  upset()

Często warto zobaczyć, gdzie są chybienia w stosunku do braków, które można osiągnąć, wykreślając wykres punktowy z brakami:

ggplot(airquality,
       aes(x = Ozone,
           y = Solar.R)) +
 geom_miss_point()

Lub dla zmiennych kategorialnych:

gg_miss_fct(x = riskfactors, fct = marital)

Te przykłady pochodzą z winiety pakietu, która zawiera listę innych interesujących wizualizacji.

summary(airquality)

już podaje te informacje

W VIM pakiety oferuje również kilka przyjemnych brakującą działkę danych dla data.frame

library("VIM")
aggr(airquality)

Bardziej zwięzłe-: sum(is.na(x[1]))

To jest

1. x[1] Spójrz na pierwszą kolumnę

2. is.na() prawda, jeśli tak NA

3. sum() TRUEjest 1, FALSEjest0

Kolejna alternatywa graficzna - plot_missingfunkcja z doskonałego DataExplorerpakietu:

Docs zwraca również uwagę na fakt, że możesz zapisać te wyniki do dodatkowej analizy za pomocą missing_data <- plot_missing(data).

Inną funkcją, która pomogłaby w przejrzeniu brakujących danych, byłaby df_status z biblioteki funModeling

library(funModeling)

iris.2 to zbiór danych tęczówki z kilkoma dodanymi NA. możesz go zastąpić swoim zbiorem danych.

df_status(iris.2)

To da ci liczbę i procent NA w każdej kolumnie.

Jeszcze jedno rozwiązanie graficzne, oferty visdat pakietowevis_miss .

library(visdat)
vis_miss(airquality)

Bardzo podobne do Ameliawyników z niewielką różnicą polegającą na podawaniu% s braków po wyjęciu z pudełka.

Myślę, że biblioteka Amelia dobrze radzi sobie z obsługą brakujących danych, zawiera również mapę do wizualizacji brakujących wierszy.

install.packages("Amelia")
library(Amelia)
missmap(airquality)

Możesz również uruchomić następujący kod, który zwróci wartości logiczne na

row.has.na <- apply(training, 1, function(x){any(is.na(x))})

Innym graficznym i interaktywnym sposobem jest użycie is.na10funkcji z heatmaplybiblioteki:

library(heatmaply)

heatmaply(is.na10(airquality), grid_gap = 1, 
          showticklabels = c(T,F),
            k_col =3, k_row = 3,
            margins = c(55, 30), 
            colors = c("grey80", "grey20"))

Prawdopodobnie nie będzie działać dobrze z dużymi zbiorami danych.

Jeśli chcesz to zrobić dla określonej kolumny, możesz również tego użyć

length(which(is.na(airquality[1])==T))

Funkcji pakietu ExPanDaR prepare_missing_values_graphmożna użyć do eksploracji danych panelu:

dplyrRozwiązaniem uzyskać zliczania mogą być:

summarise_all(df, ~sum(is.na(.)))

Lub aby otrzymać procent:

summarise_all(df, ~(sum(is_missing(.) / nrow(df))))

Może warto również zauważyć, że brakujące dane mogą być brzydkie, niespójne i nie zawsze zakodowane w NAzależności od źródła lub sposobu obsługi podczas importowania. Następującą funkcję można dostosować w zależności od danych i tego, czego brakuje:

is_missing <- function(x){
  missing_strs <- c('', 'null', 'na', 'nan', 'inf', '-inf', '-9', 'unknown', 'missing')
  ifelse((is.na(x) | is.nan(x) | is.infinite(x)), TRUE,
         ifelse(trimws(tolower(x)) %in% missing_strs, TRUE, FALSE))
}

# sample ugly data
df <- data.frame(a = c(NA, '1', '  ', 'missing'),
                 b = c(0, 2, NaN, 4),
                 c = c('NA', 'b', '-9', 'null'),
                 d = 1:4,
                 e = c(1, Inf, -Inf, 0))

# counts:
> summarise_all(df, ~sum(is_missing(.)))
  a b c d e
1 3 1 3 0 2

# percentage:
> summarise_all(df, ~(sum(is_missing(.) / nrow(df))))
     a    b    c d   e
1 0.75 0.25 0.75 0 0.5