Jaka jest różnica między „testowaniem hipotez” a „wyborem modelu”?

W literaturze oba terminy są często używane synonimicznie lub przeplatają się. Teraz próbuję znaleźć wyraźne rozróżnienie między tymi dwoma terminami. Z mojego punktu widzenia hipoteza jest zwykle wyrażana za pomocą modelu. Więc nawet jeśli przetestujemy hipotezę zerową vs. alternatywną, z mojej perspektywy dokonujemy wyboru modelu. Czy ktoś może mi intuicyjnie opisać to rozróżnienie?

hypothesis-testing model-selection regression-strategies

— społeczność
źródło

Po najechaniu myszką na znaczniki możesz zobaczyć fragmenty wiki do testowania hipotez i wyboru modelu . Mimo zwięzłości wydaje się, że wykonują dobrą robotę, odpowiadając na twoje pytanie.

— whuber

Dla mnie różnica polega na tym, że przy testowaniu hipotez rozważa się kontrasty parametrów modelu i nie zastanawia się nad zmianą modelu. Na przykład, w ANOVA, ludzie są na tyle sprytny, by nie konwertować 4 stopień swobody -test do 3 df -test przy porównywaniu 5 grup i stwierdzenie, że dwie grupy mają podobne środki. Ludzie, którzy formułują modele, często popełniają podstawowy błąd przy wybieraniu parametrów, które powinny znajdować się w modelu na podstawie testów statystycznych / porównań, nie zdając sobie sprawy, że to stronniczy jest fakt (szczególnie ). Przykład, do którego właśnie nawiązałem, bezstronna ocena $F$ $F$ $\sigma^2$ $\sigma^2$ pochodzi z modelu mającego 5 parametrów regresji (ogólny punkt przecięcia + 4 zmienne wskaźnikowe).

Wybór modelu często obejmuje (niebezpiecznie) wybór

wśród zestawu konkurencyjnych rodzin modeli lub dystrybucji
które s powinny być w modelu $X$
jak modelować każdy (np. uwzględnienie warunków nieliniowych) $X$

— Frank Harrell
źródło

Dziękuję za odpowiedź. Dam ci przykład, w którym wciąż nie jestem pewien. Załóżmy, że chcesz porównać zagnieżdżone modele z czymś w rodzaju testu współczynnika prawdopodobieństwa. Czy teraz porównujesz modele, czy też testujesz hipotezy? W końcu twoje modele mogą opierać się na hipotezach.

— fsociety,

@ ph_singer Robisz oba: test współczynnika prawdopodobieństwa dla modeli zagnieżdżonych sam w sobie jest testem hipotez. Aby zrobić analogię, w gotowaniu obiadu możesz użyć piekarnika, ale użycie piekarnika nie oznacza, że zawsze gotujesz obiad. Piekarnik, podobnie jak test hipotez, jest narzędziem; gotowanie obiadu, podobnie jak wybór modelu, jest celem ułatwianym przez użycie narzędzi.

— heropup

Ładne pytanie i odpowiedź. Jednym z problemów jest to, czy nie odrzucenie hipotezy powinno doprowadzić do przyjęcia prostszego modelu. Nie sądzę, w większości sytuacji. Wyjątkiem jest sytuacja, w której sprawdza się model elastyczny w stosunku do modelu całkowicie liniowego, a test nieliniowości przy powiedzmy 10 df daje . Czułbym się bezpiecznie, przyjmując model całkowicie liniowy.

P = .05

$P=.05$

— Frank Harrell,

Przepraszam, że powinno być nie .

P = 0.50

$P=0.50$

P = 0.05

$P=0.05$

— Frank Harrell