Szybkie sposoby w R, aby uzyskać pierwszy wiersz ramki danych pogrupowany według identyfikatora [zamknięty]

Czasami muszę uzyskać tylko pierwszy wiersz zestawu danych pogrupowany według identyfikatora, tak jak przy pobieraniu wieku i płci, gdy na osobę przypada wiele obserwacji. Jaki jest szybki (lub najszybszy) sposób, aby to zrobić w R? Użyłem agregacji () poniżej i podejrzewam, że są lepsze sposoby. Przed opublikowaniem tego pytania przeszukałem trochę w google, znalazłem i wypróbowałem ddply i zdziwiłem się, że jest on bardzo wolny i dał mi błędy pamięci w moim zestawie danych (400 000 wierszy x 16 kols, 7 000 unikalnych identyfikatorów), podczas gdy wersja agregująca () był dość szybki.

(dx <- data.frame(ID = factor(c(1,1,2,2,3,3)), AGE = c(30,30,40,40,35,35), FEM = factor(c(1,1,0,0,1,1))))
# ID AGE FEM
#  1  30   1
#  1  30   1
#  2  40   0
#  2  40   0
#  3  35   1
#  3  35   1
ag <- data.frame(ID=levels(dx$ID))
ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
ag
# ID AGE FEM
#  1  30   1
#  2  40   0
#  3  35   1
#same result:
library(plyr)
ddply(.data = dx, .var = c("ID"), .fun = function(x) x[1,])

AKTUALIZACJA: Zobacz odpowiedź Chase'a i komentarz Matta Parkera, co uważam za najbardziej eleganckie podejście. Zobacz odpowiedź @Matthew Dowle na najszybsze rozwiązanie korzystające z data.tablepakietu.

Czy twoja kolumna identyfikacyjna jest naprawdę czynnikiem? Jeśli w rzeczywistości jest liczbowy, myślę, że możesz użyć tej difffunkcji na swoją korzyść. Możesz również zmusić go do numerowania as.numeric().

dx <- data.frame(
    ID = sort(sample(1:7000, 400000, TRUE))
    , AGE = sample(18:65, 400000, TRUE)
    , FEM = sample(0:1, 400000, TRUE)
)

dx[ diff(c(0,dx$ID)) != 0, ]

Po odpowiedzi Steve'a istnieje dużo szybszy sposób w data.table:

> # Preamble
> dx <- data.frame(
+     ID = sort(sample(1:7000, 400000, TRUE))
+     , AGE = sample(18:65, 400000, TRUE)
+     , FEM = sample(0:1, 400000, TRUE)
+ )
> dxt <- data.table(dx, key='ID')

> # fast self join
> system.time(ans2<-dxt[J(unique(ID)),mult="first"])
 user  system elapsed 
0.048   0.016   0.064

> # slower using .SD
> system.time(ans1<-dxt[, .SD[1], by=ID])
  user  system elapsed 
14.209   0.012  14.281 

> mapply(identical,ans1,ans2)  # ans1 is keyed but ans2 isn't, otherwise identical
  ID  AGE  FEM 
TRUE TRUE TRUE 

Jeśli potrzebujesz tylko pierwszego wiersza każdej grupy, o wiele szybciej jest dołączyć bezpośrednio do tego wiersza. Po co tworzyć obiekt .SD za każdym razem, aby użyć tylko pierwszego jego wiersza?

Porównaj 0.064 data.table z „Matt Parker alternatywą dla rozwiązania Chase'a” (który do tej pory wydawał się najszybszy):

> system.time(ans3<-dxt[c(TRUE, dxt$ID[-1] != dxt$ID[-length(dxt$ID)]), ])
 user  system elapsed 
0.284   0.028   0.310 
> identical(ans1,ans3)
[1] TRUE 

Tak więc ~ 5 razy szybciej, ale to mały stolik w mniej niż 1 milion wierszy. Wraz ze wzrostem wielkości rośnie różnica.

Nie potrzebujesz wielu merge()kroków, tylko aggregate()obie interesujące zmienne:

> aggregate(dx[, -1], by = list(ID = dx$ID), head, 1)
  ID AGE FEM
1  1  30   1
2  2  40   0
3  3  35   1

> system.time(replicate(1000, aggregate(dx[, -1], by = list(ID = dx$ID), 
+                                       head, 1)))
   user  system elapsed 
  2.531   0.007   2.547 
> system.time(replicate(1000, {ag <- data.frame(ID=levels(dx$ID))
+ ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
+ ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
+ }))
   user  system elapsed 
  9.264   0.009   9.301

Porównanie czasów:

1) Rozwiązanie Matta:

> system.time(replicate(1000, {
+ agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
+ # Which returns a list that you can then convert into a data.frame thusly:
+ do.call(rbind, agg)
+ }))
   user  system elapsed 
  3.759   0.007   3.785

2) Rozwiązanie reshape2 Zacha:

> system.time(replicate(1000, {
+ dx <- melt(dx,id=c('ID','FEM'))
+ dcast(dx,ID+FEM~variable,fun.aggregate=mean)
+ }))
   user  system elapsed 
 12.804   0.032  13.019

3) Rozwiązanie tabeli danych Steve'a:

> system.time(replicate(1000, {
+ dxt <- data.table(dx, key='ID')
+ dxt[, .SD[1,], by=ID]
+ }))
   user  system elapsed 
  5.484   0.020   5.608 
> dxt <- data.table(dx, key='ID') ## one time step
> system.time(replicate(1000, {
+ dxt[, .SD[1,], by=ID] ## try this one line on own
+ }))
   user  system elapsed 
  3.743   0.006   3.784

4) Szybkie rozwiązanie Chase'a za pomocą liczb, a nie faktorów ID:

> dx2 <- within(dx, ID <- as.numeric(ID))
> system.time(replicate(1000, {
+ dy <- dx[order(dx$ID),]
+ dy[ diff(c(0,dy$ID)) != 0, ]
+ }))
   user  system elapsed 
  0.663   0.000   0.663

oraz 5) Matt Parker jako alternatywa dla rozwiązania Chase'a, jeśli chodzi o charakter lub czynnik ID, który jest nieco szybszy niż numeryczny Chase'a ID:

> system.time(replicate(1000, {
+ dx[c(TRUE, dx$ID[-1] != dx$ID[-length(dx$ID)]), ]
+ }))
   user  system elapsed 
  0.513   0.000   0.516

Możesz spróbować użyć data.table pakietu .

W tym konkretnym przypadku zaletą jest to, że jest (niesamowicie) szybki. Kiedy po raz pierwszy się z tym zapoznałem, pracowałem nad obiektami data.frame z setkami tysięcy wierszy. „Normal” aggregatelub ddplymetody zostały podjęte ~ 1-2 minut, aby kompletne (to było przed Hadley wprowadził idata.framemojo do ddply). Przy użyciu data.tableoperacja została wykonana dosłownie w ciągu kilku sekund.

Minusem jest to, że jest tak szybki, ponieważ ucieka się do twoich danych.tabela (jest to jak ramka danych) według „kluczowych kolumn” i używa inteligentnej strategii wyszukiwania, aby znaleźć podzbiory twoich danych. Spowoduje to zmianę kolejności danych przed zebraniem statystyk nad nimi.

Biorąc pod uwagę, że będziesz chciał tylko pierwszego rzędu każdej grupy - być może zmiana kolejności zepsuje, który wiersz jest pierwszy, dlatego może nie być odpowiedni w twojej sytuacji.

W każdym razie będziesz musiał ocenić, czy data.tablejest to właściwe, ale możesz to wykorzystać w połączeniu z prezentowanymi danymi:

install.packages('data.table') ## if yo udon't have it already
library(data.table)
dxt <- data.table(dx, key='ID')
dxt[, .SD[1,], by=ID]
     ID AGE FEM
[1,]  1  30   1
[2,]  2  40   0
[3,]  3  35   1

Aktualizacja: Matthew Dowle (główny twórca pakietu data.table) zapewnił lepszy / mądrzejszy / (wyjątkowo) bardziej wydajny sposób korzystania z data.table do rozwiązania tego problemu jako jednej z odpowiedzi tutaj ... zdecydowanie sprawdź to .

Spróbuj reshape2

library(reshape2)
dx <- melt(dx,id=c('ID','FEM'))
dcast(dx,ID+FEM~variable,fun.aggregate=mean)

Możesz spróbować

agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
# Which returns a list that you can then convert into a data.frame thusly:
do.call(rbind, agg)

Nie mam jednak pojęcia, czy będzie to szybsze niż plyr.