Jaki jest najlepszy sposób na Przekształcenie / Restrukturyzację danych?

Jestem asystentem naukowym w laboratorium (wolontariusz). Ja i mała grupa zlecono mi analizę danych dla zestawu danych pobranych z dużego badania. Niestety dane zostały zebrane za pomocą jakiejś aplikacji online i nie została zaprogramowana do wyświetlania danych w najbardziej użytecznej formie.

Poniższe zdjęcia ilustrują podstawowy problem. Powiedziano mi, że nazywa się to „Przekształcaniem” lub „Restrukturyzacją”.

Pytanie: Jaki jest najlepszy proces przejścia od obrazu 1 do obrazu 2 z dużym zestawem danych z ponad 10 000 wpisów?

Jak zauważyłem w moim komentarzu , pytanie nie zawiera wystarczających szczegółów, aby można było sformułować prawdziwą odpowiedź. Ponieważ potrzebujesz pomocy w znalezieniu właściwych warunków i sformułowaniu pytania, mogę krótko mówić w ogólności.

Termin, którego szukasz, to czyszczenie danych . Jest to proces pobierania surowych, źle sformatowanych (brudnych) danych i dostosowywania ich do analiz. Zmiana i normalizacja formatów („dwa” ) oraz reorganizacja wierszy i kolumn to typowe zadania czyszczenia danych. $\rightarrow 2$

W pewnym sensie czyszczenie danych można wykonać w dowolnym oprogramowaniu i można to zrobić za pomocą Excela lub R.Możliwe będą wady i zalety obu opcji:

• Excel: Excel jest prawie na pewno najczęstszym wyborem do czyszczenia danych (patrz R fortuny # 59 pdf ). Statystycy uważają to również za zły wybór. Głównym powodem jest to, że trudno jest upewnić się, że wszystko złapałeś lub że wszystko potraktowałeś identycznie, i nie ma zapisów o wprowadzonych zmianach, więc nie możesz wrócić do tych zmian później. Zaletą korzystania z programu Excel jest to, że łatwiej będzie zobaczyć, co robisz, i nie musisz dużo wiedzieć, aby wprowadzać zmiany. (Statystycy uznają to drugie za dodatkową oszustwo ).

• R: R będzie wymagał stromej krzywej uczenia się. Jeśli nie znasz się dobrze na R lub programowaniu, rzeczy, które można zrobić dość szybko i łatwo w Excelu, będą frustrujące, gdy spróbujesz w R. Z drugiej strony, jeśli kiedykolwiek będziesz musiał to zrobić ponownie, nauka będzie musiała dobrze spędzony czas. Ponadto możliwość pisania i zapisywania kodu do czyszczenia danych w języku R złagodzi wymienione wyżej wady. Poniżej znajdują się linki, które pomogą Ci rozpocząć pracę z tymi zadaniami w języku R:

  Możesz uzyskać wiele dobrych informacji na temat przepełnienia stosu :

  • Jak zmienić kolejność kolumn w R?
  • R: Jak mogę zmienić kolejność wierszy matrycy, data.frame lub wektora według innego?

  Quick-R jest również cennym zasobem:

  • sortowanie

  Wprowadzanie liczb w tryb numeryczny:

  • Konwertuj zapisaną liczbę na liczbę w R
  • ? strtoi jest specjalizowaną funkcją do konwersji z systemu szesnastkowego itp., jeśli to konieczne

  Innym nieocenionym źródłem informacji na temat języka R jest witryna pomocy UCLA :

  • praca ze zmiennymi czynnikowymi (dla twojego „w większości się zgadzam” itp.)

  Wreszcie, zawsze możesz znaleźć wiele informacji w starym dobrym Google:

  • To wyszukiwanie: czyszczenie danych wr , wywołuje szereg samouczków (z których żaden nie przepracowałem, FTR).

Aktualizacja: Jest to częsty problem dotyczący struktury zbioru danych, gdy masz wiele pomiarów na „jednostkę badawczą” (w twoim przypadku - osobę). Jeśli masz jeden wiersz dla każdej osoby, mówi się, że twoje dane są w formie „szerokiej”, ale wtedy koniecznie będziesz mieć na przykład wiele kolumn dla zmiennej odpowiedzi. Z drugiej strony możesz mieć tylko jedną kolumnę dla zmiennej odpowiedzi (ale w rezultacie mieć wiele wierszy na osobę), w którym to przypadku mówi się, że twoje dane są w „długiej” formie. Przechodzenie między tymi dwoma formatami jest często nazywane „przekształcaniem” danych, szczególnie w świecie R.

• Standardową funkcją R jest w tym przypadku „zmiana kształtu” . Na stronie pomocy dotyczącej statystyk UCLA znajduje się przewodnik dotyczący korzystania reshape().
• Wiele osób uważa, że reshapeciężko z tym pracować. Hadley Wickham opracował pakiet o nazwie reshape2 , który ma uprościć proces. Osobista strona Hadley za reshape2 jest tutaj , opis Quick-R jest tu , i tam jest miłym wyglądzie poradnik tutaj .
• Istnieje wiele pytań na temat SO o tym, jak zmienić dane. Większość z nich polega na przechodzeniu od szerokiego do długiego, ponieważ zwykle z tym mają do czynienia analitycy danych. Twoje pytanie dotyczy przejścia z długiej na szeroką, co jest znacznie mniej powszechne, ale wciąż jest wiele wątków na ten temat, możesz przejrzeć je za pomocą tego wyszukiwania .
• Jeśli twoje serce jest nastawione na próbę zrobienia tego za pomocą programu Excel, istnieje wątek na temat pisania makra VBA dla programu Excel w celu odtworzenia funkcji zmiany kształtu tutaj: stopić / zmienić kształt w programie Excel za pomocą VBA?

Spróbuj wykonać przy użyciu R:

> ddf
   sess_id user_id     quest  response
1        1       a       age        29
2        1       a satisfied  st_agree
3        1       a    gender      male
4        1       a     phone    iphone
5        2       a       age        29
6        2       a satisfied not_agree
7        2       a    gender    female
8        2       a     phone    iphone
9        3       b       age        29
10       3       b satisfied     agree
11       3       b    gender      male
12       3       b     phone   android
> 
> library(reshape2)
> dcast(ddf, sess_id+user_id ~ quest, value.var='response')
  sess_id user_id age gender   phone satisfied
1       1       a  29   male  iphone  st_agree
2       2       a  29 female  iphone not_agree
3       3       b  29   male android     agree

W scali nazywa się to operacją „eksploduj” i można ją wykonać na ramce danych. Jeśli dane są typu rdd, najpierw przekonwertuj na dataFrame za pomocą toDFpolecenia, a następnie użyj .explodemetody.