Poszukiwanie prawdziwej ilustracji cytatu Fishera na temat DoE

Mój zespół i ja chcielibyśmy przedstawić niestatystom firmy prezentację na temat użyteczności projektowania eksperymentów. Ci statystycy są również naszymi klientami i zwykle nie konsultują się z nami przed zebraniem swoich danych. Czy znasz jakieś prawdziwe przykłady, które dobrze zilustrują słynny cytat Fishera: „Przywołanie statystyki po zakończeniu eksperymentu może być niczym więcej niż poproszeniem go o wykonanie sekcji zwłok: może on być w stanie jedynie powiedzieć, co umarł eksperyment z." ? Najlepiej szukamy ilustracji w kontekście przemysłowym / farmaceutycznym / biologicznym. Myślimy o przykładzie niejednoznacznej analizy statystycznej, która mogłaby się powieść, gdyby została wstępnie dobrze zaprojektowana, ale być może istnieją inne możliwe ilustracje.

Natknąłem się na projekty, w których eksperymentator chciał przetestować między efektami podmiotowymi, ale projekt był bardziej odpowiedni dla efektów przedmiotowych.

Na przykład, jeden eksperyment składał się z 8 szczurów, czterech na diecie A i czterech na diecie B, a wagę szczura mierzono każdego dnia przez cztery tygodnie. To było w porządku, jeśli byli zainteresowani efektem czasowym każdej diety, ale celem było zbadanie różnic w diecie.

Myśleli, mierząc każdego szczura 28 razy, że mieli wiele danych, ale jednostką eksperymentalną dla efektu diety był szczur, który miał tylko 4 dla każdego leczenia. Mogli mierzyć szczury 10 razy dziennie, ale to nie miało znaczenia, w końcu potrzebowali więcej szczurów.

Pracowałem dla organizacji o nazwie National Foundation for Celiac Awareness. Organizacja promuje świadomość społeczeństwa na temat celiakii i zapewnia listę kontrolną objawów choroby, która wiąże się z nietolerancją pokarmów zawierających gluten. Przeprowadzili ankietę w Internecie, otwierając ją dla każdego, kto chciał wziąć udział. Przez lata zebrali tysiące opinii publicznej. Mieli jednak nadzieję wyciągnąć wnioski na temat ogółu społeczeństwa na podstawie wyników ankiety. Musiałem im powiedzieć, że respondenci byli raczej wybrani niż przypadkowi, co może powodować stronniczość. Ponieważ stopień uprzedzeń nie jest znany, nie można było wnioskować pomimo dużej ilości danych.

Teraz respondenci wydawali się osobliwą grupą. Wiele z nich jest bardzo poważnych i odpowiedzieli, że wyrażają obawy, że oni lub krewni mogą mieć tę chorobę. Ale była też znaczna liczba ludzi odpowiadających w sposób mądry. Było to oczywiste z fałszywych nazwisk, dziwnych adresów e-mail i adresów pocztowych, które podali w swoich odpowiedziach.

Czułem, że dane były użyteczne tylko w sensie eksploracyjnym, a częstotliwość odpowiedzi może być użyteczna do formułowania hipotez, które można przetestować w dobrze zaplanowanym przyszłym badaniu. Ale do tej pory moja rada nie została uwzględniona, a oni przeprowadzają kolejną z tych łatwych do samodzielnego wyboru ankiet w Internecie.

Jakiś czas temu zostałem poproszony o przeanalizowanie wyników eksperymentu, w jaki sposób nocne miejsce przechowywania fotowoltaicznej matrycy słonecznej wpłynęło na tempo gromadzenia się gleby na matrycy. (Te duże skupiające się układy fotowoltaiczne śledzą słońce przez cały dzień, ale w nocy są zwykle przechowywane skierowane prosto w górę, ponieważ jest to pozycja minimalnego obciążenia dla trackera.) Zabrudzenie jest dużym problemem, ponieważ znacznie zmniejsza produkcję energii i czyszczenie nie jest tanie. Eksperyment został przeprowadzony na polu około 120 urządzeń śledzących; zachodnia połowa została złożona pionowo, a wschodnia połowa poziomo (to wyrównane z połączeniami modułu śledzącego z dwoma falownikami, co zapewniłoby przewagę w wytwarzaniu energii podczas eksperymentu, jeśli wystąpi znaczący efekt i nie będzie żadnego szczególnego wzoru zabrudzenia, więc to nie jest,

Niestety, na południu pustyni zachodzi silny, silny wiatr, a na południe od zachodniej części pola znajduje się duży budynek, „osłaniający” (nieco) większą część zachodniej części pola od rozdmuchiwanych przez wiatr cząstek . Dodatkowo urządzenia śledzące do pewnego stopnia „osłaniają się” od wiatru. W związku z tym mechanizmy gromadzenia się gleby (np. Dmuchane wiatrem lub osiadania) różnią się względną wielkością na polu. To z kolei oznacza, że ​​tablice gromadzą glebę w różnym tempie, zależnym od lokalizacji; to nie jest mały efekt.

Wynik końcowy analizy był zasadniczo taki, że nie było nieprawdopodobne, aby pozycja przechowywania miała znaczenie, ale nie mogliśmy w żaden sposób wykluczyć możliwości, że efekt byłby trywialny, ani nie można było stwierdzić z dużą pewnością (na podstawie na danych) znak efektu. Następnie zaprojektowałem eksperyment uzupełniający, przypisując pozycje przechowywania na podstawie położenia tablicy w celu oszacowania zabrudzonej „powierzchni odpowiedzi” w poprzek pola dla obu pozycji przechowywania, oszacowania szybkości „osiadania” w porównaniu z „nawiewem wiatru” oraz oczywiście wpływ kąta przechowywania na oba z nich. Ten eksperyment był dość udany i po kilku miesiącach byliśmy w stanie uzyskać wyraźny obraz korzyści płynących z pionowego składowania.

Kolega poprosił mnie o „wykonanie statystyk” w badaniu, w którym analizowano korelację między pewnym typem zdarzenia pogodowego a awariami w infrastrukturze, która zazwyczaj przypisywana jest zwykłemu zużyciu. Kolega chciał sprawdzić, czy zdarzenia pogodowe rzeczywiście przyczyniły się do niepowodzenia, czy nie. Zespół ludzi spędził już dużo czasu i wysiłku na zebraniu ogromnej ilości danych, a praca badawcza była prawie skończona, potrzebowali tylko kogoś, kto „wykonał statystyki” i wypełnił ostatnią część sekcji wyników.

Problem polegał na tym, że starannie dopilnowali, aby zbiór danych zawierał tylko „interesujące” okresy, w których wystąpiło dane zdarzenie pogodowe. Oznaczało to, że nie było sposobu na porównanie wskaźnika awaryjności podczas zdarzeń z czasami braku zdarzeń. Wielokrotnie próbowałem wyjaśnić problem, ale nigdy tak naprawdę nie byli przekonani, ponieważ po prostu mieli tyle danych, że na pewno mógłbym coś z tego wyciągnąć.

Na szczęście nadal istniała pewna liczba dotkliwości zdarzeń pogodowych i istniała słaba zależność między dotkliwością a wskaźnikiem awaryjności, więc przynajmniej coś z niej uratowaliśmy, ale wynik mógłby być o wiele bardziej ostateczny, gdyby pomyśleli o tym, jak „zrób statystyki” przed rozpoczęciem gromadzenia danych.