Czy można pominąć dane z badań, ponieważ nie są one istotne?

Zetknąłem się z tym zdaniem podczas czytania artykułu na sciencemag.org .

Ostatecznie uwzględniono odpowiedzi zaledwie 7600 badaczy z 12 krajów, ponieważ pozostałe dane nie zostały uznane za istotne statystycznie.

Czy to właściwy sposób prowadzenia badań? Pominąć wyniki, ponieważ nie zostały one uznane za istotne statystycznie?

W raporcie cytowanym w komentarzu Whubera napisano na stronie 104 [str. 114 w pdf]:

W badaniu udało się aktywować udział około 8900 doktorantów z ponad 30 krajów ...

Następnie na stronach 104–105 jest napisane:

Podczas przeprowadzania procedur czyszczenia danych zespół ekspertów Eurodoc postanowił przeprowadzić analizę testu mocy. W oparciu o założenie wypełnionych kwestionariuszy, które doprowadzą do rozkładu wielu norm, zastosowano test mocy do oszacowania przedziału ufności. Dokonano tego, aby przetestować dokładność danych. Zdecydowano zaakceptować maksymalnie 6% poziom błędu przy 95% przedziale ufności. Utrata 16% wielkości próby doprowadziła do próby 12 krajów uczestniczących z 7600 uczestnikami.

Nie jest więc do końca jasne, dlaczego 16% straty w próbie, ale założenie niekompletnych odpowiedzi jest prawdopodobnie prawidłowe. (I możesz zobaczyć, dlaczego reporter był zdezorientowany.)

To zdanie w rzeczywistości nie ma sensu i jest wyraźnie błędne.

Dane nie mogą być istotne statystycznie ani nieistotne. W tych kategoriach można mówić tylko o relacjach między danymi, produktem testów statystycznych.

Jeśli pytanie brzmi: czy możemy usunąć dane z naszych analiz, ponieważ włączenie tych danych oznacza, że ​​nie możemy odrzucić hipotezy zerowej? Odpowiedź brzmi - oczywiście, mam nadzieję! - nie . Przytoczona przez Ciebie wiadomość to reportaż, a nie artykuł naukowy. Gdyby to był artykuł, który został poddany recenzji, nigdy by się nie dostał.

Prawdopodobnie dane nie zostały uwzględnione, ponieważ istnieją istotne powody, aby nie uwzględniać tych danych. Prawdopodobnie, jak sugerują inni, wykluczone dane były niekompletne lub zebrane przy użyciu różnych lub nieporównywalnych metod.

Nie.

Podejrzewam, że reporter chciał powiedzieć, że inne osoby zostały pominięte, ponieważ ankiety były niekompletne lub wewnętrznie niespójne.

Nie, ale reporterzy mogą całkowicie bezsensownie używać technicznego żargonu.