Co powiedzieć klientowi, który uważa, że ​​przedziały ufności są zbyt szerokie, aby były przydatne?

Załóżmy, że jestem konsultantem i chcę wyjaśnić mojemu klientowi przydatność przedziału ufności. Klient mówi mi, że moje interwały są zbyt szerokie, aby były przydatne, i wolałby stosować te o połowę mniejsze.

Jak mam odpowiedzieć?

To zależy od tego, co klient rozumie przez „użyteczny”. Sugestia twojego klienta, aby arbitralnie zawęzić przedziały, wydaje się odzwierciedlać nieporozumienie, że poprzez zawężenie przedziałów magicznie zmniejszyłeś margines błędu. Zakładając, że zestaw danych został już zebrany i jest naprawiony (jeśli tak nie jest, żart @ shabbychef w komentarzach daje odpowiedź), każda odpowiedź na klienta powinna podkreślać i opisywać, dlaczego nie ma „darmowego lunchu” i że Ci są poświęcając coś przez zwężenie interwały.

W szczególności, ponieważ zestaw danych jest stały, jedynym sposobem na zmniejszenie szerokości przedziału ufności jest obniżenie poziomu ufności. Dlatego masz wybór pomiędzy szerszym interwałem, który jest bardziej pewny, zawiera prawdziwą wartość parametru lub węższym interwałem, co do którego masz mniej pewności. Oznacza to, że szersze przedziały ufności są bardziej konserwatywne. Oczywiście, nigdy nie można po prostu bezmyślnie zoptymalizować szerokości lub poziomu ufności, ponieważ można bez problemu wygenerować przedział ufności, pozwalając mu objąć całą przestrzeń parametrów i uzyskać nieskończenie wąski przedział ufności, chociaż będzie on miał 0 % pokrycie. $100 \%$$0 \%$

To, czy mniej konserwatywny przedział jest bardziej użyteczny, zależy wyraźnie od kontekstu i tego, jak zmienia się szerokość przedziału w zależności od poziomu ufności, ale mam problem z wyobrażeniem sobie aplikacji, w której użycie znacznie niższego poziomu ufności w celu uzyskania preferowane byłyby węższe odstępy czasu. Warto również zauważyć, że przedział ufności stał się tak wszechobecny, że trudno będzie uzasadnić, dlaczego na przykład używasz 60 % przedziału ufności. $95 \%$$60\%$

Sugerowałbym, że całkowicie zależy to od tego, do czego twój klient chce użyć przedziałów ufności.

1. Jakiś raport / publikacja / itp. gdzie zwykle zgłaszane są 95% CI. Mógłbym bardzo dobrze powiedzieć mu „To nie jest statystycznie uzasadnione” i zostawić to tam, w zależności od tego, czy klient ma skłonność do korzystania z twojej wiedzy. Jeśli nie, musisz osądzić swój własny komfort zawodowy z tym, czego chcą.
2. Jakiś wewnętrzny dokument - wyjaśnię, że się nie zgadzasz, i wyjaśnię, na jaki rodzaj przedziału ufności patrzy teraz czytelnik, ponieważ nie jest to 95%.
3. Jako miarę szacunku niepewności powiedzmy, aby ustalić, ile analizy wrażliwości można zrobić? Dałbym im liczbę pokazującą pełny rozkład zarówno z 95% CI, jak i oznaczoną 68% CI, i pozwoliłem im to mieć.

Byłbym z siebie dumny, gdyby udało mi się powstrzymać „Więc uruchom większe badanie” od bycia pierwszą rzeczą, która wyszła mi z ust.

Używaj odchylenia standardowego, jak większość ludzi. 95% CI może być przerażające, gdy ludzie są przyzwyczajeni do 68% CI.

Zapewniasz przedział ufności na pewnym standardowym poziomie, takim jak 90% lub 95%. Klient może ocenić, czy interwał jest zbyt szeroki, aby był użyteczny. Ale oczywiście nie oznacza to, że można go skrócić, aby był użyteczny. Możesz zasugerować, że zwiększenie wielkości próby zmniejszy szerokość przedziału przy danym poziomie ufności, ponieważ zmniejsza się mniej więcej o współczynnik pierwiastka kwadratowego z wielkości próby.