filtrowanie pełnych obserwacji w data.frame przy użyciu dplyr (usuwanie z uwzględnieniem wielkości liter)

Czy jest możliwe filtrowanie data.frame dla pełnych przypadków przy użyciu dplyr? complete.casesoczywiście z listą wszystkich zmiennych. Ale to jest a) rozwlekłe, gdy jest dużo zmiennych ib) niemożliwe, gdy nazwy zmiennych nie są znane (np. W funkcji przetwarzającej dowolną ramkę data.frame).

library(dplyr)
df = data.frame(
    x1 = c(1,2,3,NA),
    x2 = c(1,2,NA,5)
)

df %.%
  filter(complete.cases(x1,x2))

Spróbuj tego:

df %>% na.omit

albo to:

df %>% filter(complete.cases(.))

albo to:

library(tidyr)
df %>% drop_na

Jeśli chcesz filtrować na podstawie braków jednej zmiennej, użyj warunku:

df %>% filter(!is.na(x1))

lub

df %>% drop_na(x1)

Inne odpowiedzi wskazują, że z powyższych rozwiązań na.omitjest znacznie wolniejszy, ale należy to zrównoważyć faktem, że zwraca indeksy wierszy pominiętych w na.actionatrybucie, podczas gdy inne powyższe rozwiązania nie.

str(df %>% na.omit)
## 'data.frame':   2 obs. of  2 variables:
##  $ x1: num  1 2
##  $ x2: num  1 2
##  - attr(*, "na.action")= 'omit' Named int  3 4
##    ..- attr(*, "names")= chr  "3" "4"

DODANE Zaktualizowano, aby odzwierciedlić najnowszą wersję dplyr i komentarzy.

DODANE Zaktualizowano, aby odzwierciedlić najnowszą wersję tidyr i komentarzy.

To działa dla mnie:

df %>%
  filter(complete.cases(df))    

Lub trochę bardziej ogólnie:

library(dplyr) # 0.4
df %>% filter(complete.cases(.))

Miałoby to tę zaletę, że dane mogły zostać zmodyfikowane w łańcuchu przed przekazaniem ich do filtra.

Kolejny test porównawczy z większą liczbą kolumn:

set.seed(123)
x <- sample(1e5,1e5*26, replace = TRUE)
x[sample(seq_along(x), 1e3)] <- NA
df <- as.data.frame(matrix(x, ncol = 26))
library(microbenchmark)
microbenchmark(
  na.omit = {df %>% na.omit},
  filter.anonymous = {df %>% (function(x) filter(x, complete.cases(x)))},
  rowSums = {df %>% filter(rowSums(is.na(.)) == 0L)},
  filter = {df %>% filter(complete.cases(.))},
  times = 20L,
  unit = "relative")

#Unit: relative
#             expr       min        lq    median         uq       max neval
 #         na.omit 12.252048 11.248707 11.327005 11.0623422 12.823233    20
 #filter.anonymous  1.149305  1.022891  1.013779  0.9948659  4.668691    20
 #         rowSums  2.281002  2.377807  2.420615  2.3467519  5.223077    20
 #          filter  1.000000  1.000000  1.000000  1.0000000  1.000000    20

Oto kilka wyników testów porównawczych odpowiedzi Grothendiecka. na.omit () zajmuje 20 razy więcej czasu niż pozostałe dwa rozwiązania. Myślę, że byłoby miło, gdyby dplyr miał do tego funkcję, może jako część filtra.

library('rbenchmark')
library('dplyr')

n = 5e6
n.na = 100000
df = data.frame(
    x1 = sample(1:10, n, replace=TRUE),
    x2 = sample(1:10, n, replace=TRUE)
)
df$x1[sample(1:n, n.na)] = NA
df$x2[sample(1:n, n.na)] = NA


benchmark(
    df %>% filter(complete.cases(x1,x2)),
    df %>% na.omit(),
    df %>% (function(x) filter(x, complete.cases(x)))()
    , replications=50)

#                                                  test replications elapsed relative
# 3 df %.% (function(x) filter(x, complete.cases(x)))()           50   5.422    1.000
# 1               df %.% filter(complete.cases(x1, x2))           50   6.262    1.155
# 2                                    df %.% na.omit()           50 109.618   20.217

Jest to krótka funkcja, która pozwala określić kolumny (w zasadzie wszystko, co dplyr::selectmoże zrozumieć), które nie powinny mieć żadnych wartości NA (wzorowane na pandas df.dropna () ):

drop_na <- function(data, ...){
    if (missing(...)){
        f = complete.cases(data)
    } else {
        f <- complete.cases(select_(data, .dots = lazyeval::lazy_dots(...)))
    }
    filter(data, f)
}

[ drop_na jest teraz częścią tidyr : powyższe można zastąpić library("tidyr")]

Przykłady:

library("dplyr")
df <- data.frame(a=c(1,2,3,4,NA), b=c(NA,1,2,3,4), ac=c(1,2,NA,3,4))
df %>% drop_na(a,b)
df %>% drop_na(starts_with("a"))
df %>% drop_na() # drops all rows with NAs

Spróbuj tego

df[complete.cases(df),] #output to console

ALBO nawet to

df.complete <- df[complete.cases(df),] #assign to a new data.frame

Powyższe polecenia dbają o sprawdzenie kompletności wszystkich kolumn (zmiennych) w data.frame.

Ze względu na kompletność, dplyr::filtermożna całkowicie uniknąć, ale nadal można tworzyć łańcuchy za pomocą magrittr:extract(aliasu [):

library(magrittr)
df = data.frame(
  x1 = c(1,2,3,NA),
  x2 = c(1,2,NA,5))

df %>%
  extract(complete.cases(.), )

Dodatkowym bonusem jest szybkość, jest to najszybsza metoda spośród wariantów filteri na.omit(przetestowana przy użyciu mikroprocesorów @Miha Trošt).