Poziomy współczynnika upuszczenia w podzestawie danych

Mam ramkę danych zawierającą factor. Kiedy tworzę podzbiór tej ramki danych za pomocą subsetlub innej funkcji indeksowania, tworzona jest nowa ramka danych. Jednak factorzmienna zachowuje wszystkie swoje pierwotne poziomy, nawet jeśli / jeśli nie istnieją w nowej ramce danych.

Powoduje to problemy podczas wykonywania rysowania fasetowego lub korzystania z funkcji zależnych od poziomów czynników.

Jaki jest najbardziej zwięzły sposób usunięcia poziomów z czynnika w nowej ramce danych?

Oto przykład:

df <- data.frame(letters=letters[1:5],
                    numbers=seq(1:5))

levels(df$letters)
## [1] "a" "b" "c" "d" "e"

subdf <- subset(df, numbers <= 3)
##   letters numbers
## 1       a       1
## 2       b       2
## 3       c       3    

# all levels are still there!
levels(subdf$letters)
## [1] "a" "b" "c" "d" "e"

Wszystko, co powinieneś zrobić, to ponownie zastosować współczynnik () do zmiennej po podzestawie:

> subdf$letters
[1] a b c
Levels: a b c d e
subdf$letters <- factor(subdf$letters)
> subdf$letters
[1] a b c
Levels: a b c

EDYTOWAĆ

Z przykładu strony czynnikowej:

factor(ff)      # drops the levels that do not occur

Do usuwania poziomów ze wszystkich kolumn czynników w ramce danych można użyć:

subdf <- subset(df, numbers <= 3)
subdf[] <- lapply(subdf, function(x) if(is.factor(x)) factor(x) else x)

Od wersji R 2.12 dostępna jest droplevels()funkcja.

levels(droplevels(subdf$letters))

Jeśli nie chcesz tego zachowania, nie używaj czynników, zamiast tego użyj wektorów znaków. Myślę, że ma to większy sens niż załatanie później. Spróbuj wykonać następujące czynności przed załadowaniem danych za pomocą read.tablelub read.csv:

options(stringsAsFactors = FALSE)

Wadą jest to, że jesteś ograniczony do porządku alfabetycznego. (zmiana kolejności jest twoim przyjacielem dla działek)

Jest to znany problem, a jeden możliwy środek zapewnia drop.levels()w GData pakietu, gdzie staje się przykładem

> drop.levels(subdf)
  letters numbers
1       a       1
2       b       2
3       c       3
> levels(drop.levels(subdf)$letters)
[1] "a" "b" "c"

Jest również dropUnusedLevelsfunkcja w pakiecie Hmisc . Działa to jednak tylko poprzez zmianę operatora podzbioru [i nie ma tutaj zastosowania.

W następstwie bezpośrednie podejście dla poszczególnych kolumn jest proste as.factor(as.character(data)):

> levels(subdf$letters)
[1] "a" "b" "c" "d" "e"
> subdf$letters <- as.factor(as.character(subdf$letters))
> levels(subdf$letters)
[1] "a" "b" "c"

Inny sposób robienia tego samego, ale z dplyr

library(dplyr)
subdf <- df %>% filter(numbers <= 3) %>% droplevels()
str(subdf)

Edytować:

Działa również! Dzięki agenis

subdf <- df %>% filter(numbers <= 3) %>% droplevels
levels(subdf$letters)

Dla kompletności, teraz jest również fct_dropw forcatspakiecie http://forceats.tidyverse.org/reference/fct_drop.html .

Różni droplevelssię sposobem, w jaki zajmuje się NA:

f <- factor(c("a", "b", NA), exclude = NULL)

droplevels(f)
# [1] a    b    <NA>
# Levels: a b <NA>

forcats::fct_drop(f)
# [1] a    b    <NA>
# Levels: a b

Oto inny sposób, który moim zdaniem jest równoważny factor(..)podejściu:

> df <- data.frame(let=letters[1:5], num=1:5)
> subdf <- df[df$num <= 3, ]

> subdf$let <- subdf$let[ , drop=TRUE]

> levels(subdf$let)
[1] "a" "b" "c"

To jest wstrętne. Tak zazwyczaj to robię, aby uniknąć ładowania innych pakietów:

levels(subdf$letters)<-c("a","b","c",NA,NA)

co daje ci:

> subdf$letters
[1] a b c
Levels: a b c

Zauważ, że nowe poziomy zastąpią wszystko, co zajmuje ich indeks na starych poziomach (litery subdf $), więc coś takiego:

levels(subdf$letters)<-c(NA,"a","c",NA,"b")

nie zadziała.

Nie jest to oczywiście idealne, gdy masz wiele poziomów, ale dla niektórych jest to szybkie i łatwe.

Patrząc na koddroplevels metod w źródle R, możesz zobaczyć, jak się zawija factor. Oznacza to, że można w zasadzie odtworzyć kolumnę z factorfunkcją.
Poniżej metody data.table, aby upuścić poziomy ze wszystkich kolumn czynników.

library(data.table)
dt = data.table(letters=factor(letters[1:5]), numbers=seq(1:5))
levels(dt$letters)
#[1] "a" "b" "c" "d" "e"
subdt = dt[numbers <= 3]
levels(subdt$letters)
#[1] "a" "b" "c" "d" "e"

upd.cols = sapply(subdt, is.factor)
subdt[, names(subdt)[upd.cols] := lapply(.SD, factor), .SDcols = upd.cols]
levels(subdt$letters)
#[1] "a" "b" "c"

oto sposób na zrobienie tego

varFactor <- factor(letters[1:15])
varFactor <- varFactor[1:5]
varFactor <- varFactor[drop=T]

W tym celu napisałem funkcje narzędziowe. Teraz, gdy wiem o drop.levels gdata, wygląda całkiem podobnie. Oto one ( stąd ):

present_levels <- function(x) intersect(levels(x), x)

trim_levels <- function(...) UseMethod("trim_levels")

trim_levels.factor <- function(x)  factor(x, levels=present_levels(x))

trim_levels.data.frame <- function(x) {
  for (n in names(x))
    if (is.factor(x[,n]))
      x[,n] = trim_levels(x[,n])
  x
}

Bardzo interesujący wątek, szczególnie podoba mi się pomysł ponownego uwzględnienia podselekcji. Miałem wcześniej podobny problem i po prostu przekształciłem się w postać, a potem z powrotem w czynnik.

   df <- data.frame(letters=letters[1:5],numbers=seq(1:5))
   levels(df$letters)
   ## [1] "a" "b" "c" "d" "e"
   subdf <- df[df$numbers <= 3]
   subdf$letters<-factor(as.character(subdf$letters))

Niestety czynnik () wydaje się nie działać przy użyciu rxDataStep z RevoScaleR. Robię to w dwóch krokach: 1) Konwertuj na znak i przechowuj w tymczasowej zewnętrznej ramce danych (.xdf). 2) Konwertuj z powrotem na współczynnik i przechowuj w ostatecznej zewnętrznej ramce danych. Eliminuje to wszelkie nieużywane poziomy czynników, bez ładowania wszystkich danych do pamięci.

# Step 1) Converts to character, in temporary xdf file:
rxDataStep(inData = "input.xdf", outFile = "temp.xdf", transforms = list(VAR_X = as.character(VAR_X)), overwrite = T)
# Step 2) Converts back to factor:
rxDataStep(inData = "temp.xdf", outFile = "output.xdf", transforms = list(VAR_X = as.factor(VAR_X)), overwrite = T)

Próbowałem tutaj większości przykładów, jeśli nie wszystkie, ale wydaje się, że żaden nie działa w moim przypadku. Po dłuższym okresie zmagania próbowałem użyć as.character () w kolumnie czynnik, aby zmienić ją na kolumnę z ciągami, które wydają się działać dobrze.

Nie jestem pewien problemów z wydajnością.