Jakie są wytyczne dotyczące przeprowadzania eksperymentów obliczeniowych?

Fizyka, biologia, chemia itp. Mają różne zestawy zasad przeprowadzania eksperymentów: jakie zdarzenia są uważane za istotne, jak uniknąć zanieczyszczenia próbek, jak stworzyć i naprawić proces reprodukcji i tak dalej.

Jakie są standardy, protokoły i najlepsze praktyki zapewniające dokładność i powtarzalność eksperymentów numerycznych?

Wiele napisano na temat projektowania, wykonywania i raportowania wyników eksperymentów obliczeniowych. Ma to oczywiste powiązania z oprogramowaniem open source i szerszym ruchem „otwartej nauki”. Inną ważną kwestią jest różnica między badaniami „mój kod jest szybszy niż twój” a badaniami, które pomagają nam lepiej zrozumieć właściwości algorytmów.

Niektóre odniesienia do eksperymentów obliczeniowych i testów, na które warto spojrzeć, obejmują:

Coffin, Marie i Matthew J. Saltzman. 2000. „ Analiza statystyczna testów obliczeniowych algorytmów i heurystyki ”. INFORMS Journal on Computing 12 (1): 24–44.

Crowder, Harlan, Ron S. Dembo i John M. Mulvey. 1979. „ O raportowaniu eksperymentów obliczeniowych z oprogramowaniem matematycznym ”. Transakcje ACM na oprogramowaniu matematycznym (TOMS) 5 (2): 193–203.

Feitelson, Dror G. 2006. „ Informatyka eksperymentalna: potrzeba zmiany kulturowej ”.

Hooker, John N. 1995. „ Testowanie heurystyki: mamy to wszystko źle ”. Journal of Heuristics 1 (1): 33–42.

McGeoch, Catherine C. 2012. Przewodnik po algorytmach eksperymentalnych. Cambridge University Press.