Pozyskiwanie priorów… za pomocą pieniędzy!

Załóżmy, że mam „ekspertów”, z którymi chciałbym wywołać uprzedniej dystrybucji na jakiejś zmiennej . Chciałbym ich zmotywować prawdziwymi pieniędzmi . Chodzi o to, aby wywołać priory, obserwować realizacji losowej zmiennej , a następnie podzielić pewną z góry ustaloną „torebkę” wśród ekspertów na podstawie tego, jak dobrze ich priory pasują do dowodów. Jakie są sugerowane metody tej ostatniej części, mapowania priorów i dowodów na wektor wypłat? $k$ $X$ $n$ $X$

bayesian prior

— shabbychef
źródło

Ponieważ prawdopodobnie nie ma właściwej odpowiedzi, możemy chcieć CW tej. Zostawiam to moderatorowi.

— shabbychef

Może istnieć jedna obiektywnie poprawna odpowiedź na to pytanie, więc waham się, czy zmienić ją w CW.

— whuber

Jest to podobne do idei rynków predykcyjnych . PredictionBook to przyzwoite miejsce do patrzenia.

— ely

Odpowiedzi:

W duchu powyższego komentarza uważam, że właściwą rzeczą jest rozważenie rynku prognoz . Powinieneś sprzedawać papiery wartościowe, które mają pewną stałą wypłatę za dokładność prognoz. Możesz użyć standardowych miar odległości probabilistycznej, takich jak te wymienione przez Daniela Johnsona w jego odpowiedzi. Ale chodzi o ustalenie wypłat w postaci papierów wartościowych i ustalenie z góry standardów miar (najlepiej po prostu użyj zdarzeń binarnych, takich jak zdarzyło lub nie). W ten sposób, jeśli ktoś jest gotów zapłacić X za zabezpieczenie, które płaci 1,00 USD, jeśli zdarzenie, które obejmuje, faktycznie się wydarzy, wiesz, że przypisuje prawdopodobieństwo X do zdarzenia objętego zabezpieczeniem. Płynność rynku zadba o to, w jaki sposób papiery wartościowe zostaną rozdzielone między ekspertów. $A$ $\$$

Myślę, że jest to lepsze niż posiadanie stałego wektora wypłaty, takiego jak w przypadku turnieju golfowego. Powodem jest to, że w turnieju golfowym liczy się tylko to, jak dobrze radzisz sobie z zawodnikami, a nie ogólny wynik. Kiedy chcesz zachęcić do jak najdokładniejszego wcześniejszego przekonania, nie chcesz, aby ludzie myśleli, że muszą tylko prześcignąć się nawzajem, aby zdobyć nagrodę ... chcesz, aby byli gotowi postawić własne pieniądze, aby uzyskać wypłaty, ponieważ wtedy sami muszą wierzyć w swoją wcześniejszą ocenę, nie tylko to, że ich wcześniejsza ocena jest lepsza niż ocena innej osoby.

— Ely
źródło

Warto również zauważyć, że skutki manipulacji na rynku zostały eksperymentalnie zbadane na rynkach predykcyjnych (patrz tutaj i tutaj ), i chociaż należy wykonać więcej pracy, wydaje się, że uczestnicy mogą łatwo zrekompensować szkodliwe manipulatory. Wyniki empiryczne sugerują, że niezwykle trudno byłoby „zagrać” w system, jak wspomniałeś w innym komentarzu

— ely

Słowem kluczowym, którego należy szukać, są reguły punktacji : są to funkcje służące do oceny i nagradzania prognoz probabilistycznych, a praca nad tym tematem sięga lat 50-tych. Najważniejszą rzeczą, którą musisz sprawdzić, jest to, że jest właściwe , to znaczy, że ekspert, od którego pozyskujesz przeora, ma motywację do bycia uczciwym.

Istnieje wiele możliwych prawidłowych reguł punktacji: jedną z najprostszych jest logarytmiczna reguła punktacji: nagradzasz eksperta (funkcją liniową) prawdopodobieństwa logarytmicznego przypisanego do zdarzenia.

— Simon Byrne
źródło

Dzięki! Pochylałem się w kierunku czegoś takiego. W szczególności chciałem, aby trudno było „zagrać” w system przez agenta bez żadnych informacji.

— shabbychef

Sprawdź komentarz, który dodałem do mojej odpowiedzi powyżej ( link ), ponieważ istnieją obiecujące badania dotyczące tego, w jaki sposób rynki prognoz są szczególnie odporne na manipulatory i inne osoby próbujące „zagrać” w system. Jest to naprawdę lepsze niż proste reguły punktacji, które oferują wypłaty tylko w celu uzyskania lepszej dokładności niż rówieśnicy.

— ely

@EMS: Co sprawia, że rynki prognoz są lepsze? Cały sens reguły punktacji polega na tym, że wynik jest niezależny od konkurentów (choć wprawdzie nie są one często wdrażane w ten sposób w praktyce: tzn. Wszystkie pieniądze są przekazywane osobie o najwyższym wyniku)

— Simon Byrne

Jeśli prawdziwy rozkład znany jest temu, kto wypłaca pieniądze, naturalną statystyką, na którą można spojrzeć, byłaby względna entropia podanego wcześniejszego i prawdziwego rozkładu. Wtedy wypłatą może być po prostu monotoniczna funkcja malejącej względnej entropii.

$n$ $\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$ .

Inna metoda byłaby bardzo podobna do pierwszej, w której przypuszczałem, że znamy rozkład $X$ . Ponieważ mamy $n$ punktów danych, możemy wykorzystać te informacje do przybliżenia prawdziwego rozkładu przy użyciu oszacowania gęstości jądra . Względną entropię można następnie obliczyć między szacowanym rozkładem a każdym z priorytetów dostarczonych przez ekspertów.

— Daniel Johnson
źródło

Z pewnością jednak eksperci wezmą to wszystko pod uwagę, zanim udzielą ci „uprzedniej”.

— ely

Czy masz na myśli to, czy eksperci mogli zobaczyć

n

$n$ punkty danych? Miałem wrażenie, że ich priorytety powstały przed pobraniem próbek i nie mogły być funkcjami tych danych.

— Daniel Johnson,

Nie byłoby tak samo

n

$n$ punkty danych, ale zakładam, że spróbowaliby jakoś zebrać dane lub połączyć problem z czymś, dla czego mają dane. W przeciwnym razie nie wiem, jak człowiek mógłby po prostu wypowiedzieć uprzednio swoje przekonanie. Skąd miałbyś wiedzieć, że odpowiada to ich wewnętrznym przekonaniom i nie miało na nie wpływu ustalanie cen czy coś w tym rodzaju

$

$\$$ 3.99 znak, który widzieli na stacji benzynowej w drodze do eksperymentu? Również ... miau.

— ely

Fajne jest to, że wrt wielkości fizycznych, takich jak szacowanie odległości lub liczby M & M w słoiku, ludzie są obiektywnymi szacunkami: przyjmują średnią z dużej liczby domysłów i zwykle jest bardzo blisko. Ale w przeciwieństwie do wielkości niefizycznych, takich jak cena gazu w przyszłym miesiącu, ludzie (nawet eksperci) są okropni , nawet średnio. Literatura na temat planowania błędnego jest przerażająca, szczególnie przykłady profesjonalnych planistów miejskich konsekwentnie źle oceniają koszty projektów komunalnych, podobnie jak słabo oceniają studenci ze statystycznym błędem.

— ely

Główną, którą znam od razu, było kilka rzeczy omówionych w starej książce o wizji Jamesa Gibsona „The Ecological Approach to Visual Perception”. Wspomniał o niektórych eksperymentach, w których ludzie szacują odległości na boisku piłkarskim między dwojgiem ludzi stojących daleko, i inne podobne rzeczy. Nie pamiętam, gdzie słyszałem M & M, ale postaram się znaleźć jakieś źródła na ten temat.

— ely