Jak skutecznie zarządzać projektem analizy statystycznej?

Często słyszymy o zarządzaniu projektami i wzorcach projektowych w informatyce, ale rzadziej w analizie statystycznej. Wydaje się jednak, że decydującym krokiem w kierunku opracowania skutecznego i trwałego projektu statystycznego jest utrzymanie porządku.

Często opowiadam się za użyciem R i spójnej organizacji plików w oddzielnych folderach (plik danych surowych, plik danych przekształconych, skrypty R, rysunki, notatki itp.). Głównym powodem takiego podejścia jest to, że późniejsze uruchomienie analizy może być łatwiejsze (na przykład, gdy zapomniałeś, jak udało ci się stworzyć dany wykres).

Jakie są najlepsze praktyki w statystycznym zarządzaniu projektami lub jakie zalecenia chciałbyś przekazać na podstawie własnego doświadczenia? Oczywiście dotyczy to każdego oprogramowania statystycznego. ( poproszę jedną odpowiedź na post )

Przygotowuję szybką serię wskazówek, które znalazłem na temat SO (jak sugeruje @Shane), Biostar (dalej, BS) i tej SE. Starałem się jak najlepiej potwierdzić własność każdego elementu i wybrać pierwszą lub bardzo pozytywną odpowiedź. Dodałem również własne elementy i oflagowałem przedmioty specyficzne dla środowiska [R].

Zarządzanie danymi

• Utwórz strukturę projektu, aby utrzymać wszystkie rzeczy we właściwym miejscu (dane, kod, cyfry itp., Giovanni / BS)
• Nigdy nie modyfikuj surowych plików danych (najlepiej powinny być tylko do odczytu), kopiuj / zmieniaj nazwy na nowe podczas dokonywania transformacji, czyszczenia itp.
• Sprawdź spójność danych ( Whuber / SE)
• Zarządzaj zależnościami skryptowymi i przepływem danych za pomocą narzędzia do automatyzacji kompilacji, takiego jak GNU make ( Karl Broman / Zachary Jones )

Kodowanie

• organizować kod źródłowy w logiczne jednostki lub bloki konstrukcyjne ( Josh Reich / hadley / ars / SO; giovanni / Khader Shameer / BS)
• oddziel kod źródłowy od edycji, szczególnie w przypadku dużych projektów - częściowo pokrywając się z poprzednim elementem i raportowaniem
• Dokumentuj wszystko, np. Za pomocą tlenu [R] ( Shane / SO) lub spójnego autoportretu w pliku źródłowym - dobra dyskusja na temat Medstats, dokumentowanie analiz i edycji danych Opcje
• [R] Funkcje niestandardowe można umieścić w dedykowanym pliku (który można uzyskać w razie potrzeby), w nowym środowisku (aby uniknąć zapełniania przestrzeni nazw najwyższego poziomu, Brendan OConnor / SO) lub w pakiecie ( Dirk Eddelbuettel / Shane / SO)

Analiza

• Nie zapomnij ustawić / nagrać materiału siewnego użytego do wywołania RNG lub algorytmów stochastycznych (np. K-średnich)
• W przypadku badań Monte Carlo może być interesujące przechowywanie specyfikacji / parametrów w osobnym pliku ( sumatra może być dobrym kandydatem, giovanni / BS)
• Nie ograniczaj się do jednego wykresu na zmienną, używaj wyświetlaczy wielowymiarowych (Trellis) i interaktywnych narzędzi do wizualizacji (np. GGobi)

Wersjonowanie

• Użyj pewnego rodzaju kontroli wersji dla łatwego śledzenia / eksportu, np. Git ( Sharpie / VonC / JD Long / SO) - wynika to z ładnych pytań zadanych przez @Jeromy i @Tal
• Wykonuj kopie zapasowe wszystkiego regularnie ( Sharpie / JD Long / SO)
• Zachowaj dziennik swoich pomysłów lub polegaj na narzędziu do śledzenia problemów, takim jak ditz ( giovanni / BS) - częściowo zbędny w stosunku do poprzedniego elementu, ponieważ jest on dostępny w Git

Edycja / raportowanie

• [R] Sweave ( Matt Parker / SO) lub nowszy knitr
• [R] Napar ( Shane / SO)
• [R] R2HTML lub ascii

Na marginesie, Hadley Wickham oferuje kompleksowy przegląd zarządzania projektami R , w tym odtwarzalną egzemplifikację i jednolitą filozofię danych .

Wreszcie, w swoim zorientowanym na R przepływie pracy analizy danych statystycznych Oliver Kirchkamp oferuje bardzo szczegółowy przegląd tego, dlaczego przyjęcie i przestrzeganie określonego przepływu pracy pomoże statystykom współpracować ze sobą, zapewniając jednocześnie integralność danych i odtwarzalność wyników. Ponadto zawiera omówienie korzystania z systemu tkania i kontroli wersji. Użytkownicy Staty mogą uznać za przydatny przepływ pracy analizy danych J. Scotta Longa .

To nie daje konkretnej odpowiedzi, ale możesz spojrzeć na te powiązane pytania dotyczące przepełnienia stosu:

• „Przepływ pracy do analizy statystycznej i pisania raportów”
• „Organizowanie kodu źródłowego R”
• „Jak organizować duże programy R?”
• „R i kontrola wersji dla analityka danych solo”
• „Jak porównuje się tworzenie oprogramowania z programowaniem / analizą statystyczną?”
• „Jak połączyć„ Kontrola wersji ”z„ WorkFlow ”dla R?”

Być może zainteresuje Cię również najnowszy projekt Johna Mylesa White'a dotyczący stworzenia szablonu projektu statystycznego.

To pokrywa się z odpowiedzią Shane'a, ale moim zdaniem istnieją dwa główne pomosty:

• Odtwarzalność ; nie tylko dlatego, że nie skończysz z wynikami, które są „jakoś” wykonane, ale także będziesz mógł szybciej uruchomić analizę (w przypadku innych danych lub z nieznacznie zmienionymi parametrami) i mieć więcej czasu na przemyślenie wyników. W przypadku ogromnych danych możesz najpierw przetestować swoje pomysły na jakimś małym „zestawie”, a następnie z łatwością rozszerzyć całe dane.
• Dobra dokumentacja ; skomentował skrypty pod kontrolą wersji, niektóre czasopisma badawcze, a nawet system zgłoszeń do bardziej złożonych projektów. Poprawia odtwarzalność, ułatwia śledzenie błędów i banowanie raportów końcowych.

Van Belle jest źródłem zasad udanych projektów statystycznych.

Tylko moje 2 centy. Uważam, że Notepad ++ jest do tego przydatny. Mogę utrzymywać osobne skrypty (kontrola programu, formatowanie danych itp.) I plik .pad dla każdego projektu. Wywołanie pliku .pad to wszystkie skrypty powiązane z tym projektem.

Podczas gdy inne odpowiedzi są świetne, dodałbym jeszcze jeden sentyment: Unikaj używania SPSS. Użyłem SPSS do pracy magisterskiej, a teraz regularnie pracuję w badaniach rynku.

Podczas pracy z SPSS niezwykle trudno było opracować zorganizowany kod statystyczny, ponieważ SPSS źle radzi sobie z wieloma plikami (oczywiście możesz obsługiwać wiele plików, ale nie jest tak bezbolesny jak R), ponieważ nie możesz przechowywać zestawów danych do zmiennej - musisz użyć kodu „zestaw danych aktywuj x” - kod, który może być całkowitym bólem. Ponadto składnia jest nieporęczna i zachęca do tworzenia skrótów, co czyni kod jeszcze bardziej nieczytelnym.

Notatniki Jupyter, które współpracują z R / Python / Matlab / etc, usuwają problem z zapamiętywaniem, który skrypt generuje określoną liczbę. Ten post opisuje schludny sposób trzymania kodu i cyfry tuż obok siebie. Przechowywanie wszystkich cyfr dla rozdziału papierowego lub pracy dyplomowej w jednym zeszycie sprawia, że ​​kod asccoated jest bardzo łatwy do znalezienia.

A nawet lepiej, ponieważ możesz przewijać, powiedzmy, tuzin postaci, aby znaleźć tę, którą chcesz. Kod jest ukryty, dopóki nie będzie potrzebny.