„Badania powtarzalne” jako odtwarzalna analiza
Badania powtarzalne to termin używany w niektórych dziedzinach badawczych w odniesieniu do przeprowadzania takich analiz
- kod przekształca surowe dane i metadane w przetworzone dane,
- kod uruchamia analizy danych, oraz
- kod zawiera analizy w raporcie.
Gdy takie dane i kod są udostępniane, pozwala to innym badaczom na:
- wykonywać analizy nie zgłoszone przez pierwotnych badaczy
- sprawdź poprawność analiz przeprowadzonych przez oryginalnych badaczy
Takie wykorzystanie można zaobserwować w dyskusjach na temat technologii takich jak Sweave . Np. Friedrich Leisch pisze w kontekście Sweave, że „raport może być automatycznie aktualizowany, jeśli zmienią się dane lub analiza, co pozwala na prawdziwie powtarzalne badania”. Można to również zobaczyć w widoku zadań CRAN dotyczącym powtarzalnych badań, w którym stwierdza się, że „celem powtarzalnych badań jest powiązanie konkretnych instrukcji z analizą danych i danymi eksperymentalnymi, aby odtworzyć stypendium, lepiej je zrozumieć i zweryfikować”.
Szersze użycie terminu „odtwarzalność”
Powtarzalność jest podstawowym celem nauki. To nie jest nowe. Raporty z badań zawierają sekcje dotyczące metod i wyników, które powinny opisywać, w jaki sposób dane zostały wygenerowane, przetworzone i przeanalizowane. Ogólna zasada jest taka, że dostarczone dane powinny być wystarczające, aby umożliwić odpowiednio kompetentnemu naukowcowi pobranie dostarczonych informacji i powtórzenie badania.
Powtarzalność jest również ściśle związana z koncepcjami powtarzalności i uogólnienia.
Zatem termin „odtwarzalne badania”, wzięty dosłownie, w odniesieniu do technologii takich jak Sweave, jest mylący, biorąc pod uwagę, że sugeruje on szersze znaczenie niż obejmuje. Ponadto, prezentując technologie takie jak Sweave badaczom, którzy nie korzystali z takich technologii, tacy badacze często są zaskoczeni, gdy nazywam ten proces „powtarzalnymi badaniami”.
Lepszy termin niż „powtarzalne badania”
Biorąc pod uwagę, że „odtwarzalne badania” stosowane w kontekstach podobnych do Sweave odnoszą się tylko do jednego aspektu odtwarzalnych badań, być może należy przyjąć alternatywny termin. Możliwe alternatywy to:
- Powtarzalna analiza:
- Powtarzalna analiza danych
- Powtarzalna analiza statystyczna
- Powtarzalne raportowanie
Wszystkie powyższe terminy są dokładniejszym odzwierciedleniem tego, co pociągają za sobą analizy podobne do Sweave. Powtarzalna analiza jest krótka i słodka. Dodanie „danych” lub „danych statystycznych” dodatkowo wyjaśnia sprawy, ale także sprawia, że termin jest zarówno dłuższy, jak i węższy. Ponadto „statystyczny” ma wąskie i szerokie znaczenie, a na pewno w wąskim znaczeniu większość przetwarzania danych nie jest statystyczna. Tak więc szerokość implikowana przez termin „odtwarzalna analiza” ma swoje zalety .
Nie chodzi tylko o odtwarzalność
Innym dodatkowym problemem związanym z terminem „powtarzalne badania” jest to, że celem technologii podobnych do Sweave nie jest po prostu „odtwarzalność”. Istnieje kilka powiązanych ze sobą celów:
- Odtwarzalność
- Czy analizy można łatwo ponownie uruchomić, aby przekształcić surowe dane w raport końcowy z tymi samymi wynikami?
- Poprawność
- Czy analiza danych jest zgodna z intencjami badacza?
- Czy intencje badacza są prawidłowe?
- Otwartość
- Przejrzystość, odpowiedzialność
- Czy inni mogą sprawdzić i zweryfikować dokładność wykonanych analiz?
- Rozszerzalność, modyfikowalność
- Czy inni mogą modyfikować, rozszerzać, ponownie wykorzystywać i mieszać dane, analizy lub oba te elementy w celu tworzenia nowych prac badawczych?
Istnieje argument, że odtwarzalna analiza powinna promować prawidłowe analizy, ponieważ istnieje pisemny zapis analiz, które można sprawdzić. Ponadto, jeśli dane i kod są udostępniane, tworzy to odpowiedzialność, która motywuje badaczy do sprawdzenia ich analiz i umożliwia innym badaczom odnotowywanie poprawek.
Powtarzalna analiza jest również ściśle zgodna z koncepcjami dotyczącymi otwartych badań. Oczywiście badacz może korzystać z technologii podobnych do Sweave tylko dla siebie. Zasady otwartych badań zachęcają do udostępniania danych i kodu analizy, aby umożliwić większe ponowne wykorzystanie i odpowiedzialność.
To nie jest tak naprawdę krytyka użycia słowa „odtwarzalność”. Raczej podkreśla, że stosowanie technologii typu Sweave jest konieczne, ale niewystarczające do osiągnięcia otwartych celów badań naukowych.