Skalibrowana ocena prawdopodobieństwa - Calibrated probability assessment

Skalibrowane oceny prawdopodobieństwa są prawdopodobieństwami subiektywnymi przypisywanymi przez osoby, które zostały przeszkolone w ocenianiu prawdopodobieństw w sposób, który historycznie odzwierciedla ich niepewność. Na przykład, gdy osoba skalibrowała sytuację i powie, że jest „pewna w 80%” w każdym ze 100 wykonanych przez siebie przewidywań, około 80% z nich będzie poprawnych. Podobnie będą mieli rację w 90% przypadków, gdy twierdzą, że są pewni w 90%, i tak dalej.

Trening kalibracyjny poprawia subiektywne prawdopodobieństwa, ponieważ większość ludzi jest albo „zbyt pewna siebie”, albo „mało pewna siebie” (zwykle to pierwsze). Ćwicząc z serią pytań ciekawostek, badani mogą precyzyjnie dostroić swoją umiejętność oceny prawdopodobieństwa. Na przykład podmiot może zostać zapytany:

Prawda czy fałsz: „Krążek hokejowy pasuje do dołka golfowego”
Zaufanie: wybierz prawdopodobieństwo, które najlepiej reprezentuje Twoją szansę na prawidłowe rozwiązanie tego pytania ...
50% 60% 70% 80% 90% 100%

Jeśli dana osoba nie ma żadnego pojęcia, powie, że jest pewna tylko w 50%. Jeśli są absolutnie pewni, że mają rację, powiedzą 100%. Ale większość ludzi odpowie gdzieś pomiędzy. Jeśli skalibrowanej osobie zostanie zadanych wiele takich pytań, otrzyma mniej więcej tyle poprawnych, ile się spodziewała. Osoba nieskalibrowana, która jest systematycznie zbyt pewna siebie, może powiedzieć, że jest pewna siebie w 90% w dużej liczbie pytań, w których tylko 70% z nich jest poprawnych. Z drugiej strony nieskalibrowana osoba, która jest systematycznie niedostateczna pewność siebie, może powiedzieć, że jest pewna w 50% w dużej liczbie pytań, w których w rzeczywistości 70% z nich jest poprawnych.

Ewentualnie uczestnik szkolenia zostanie poproszony o podanie zakresu liczbowego dla pytania typu: „W którym roku Napoleon najechał Rosję?”, Z instrukcją, że podany zakres ma reprezentować 90% przedział ufności. Oznacza to, że osoba badana powinna mieć 90% pewności, że zakres zawiera poprawną odpowiedź.

Szkolenie kalibracyjne zwykle obejmuje wykonanie baterii takich testów. Pomiędzy testami dostarczana jest informacja zwrotna, a badani precyzują swoje prawdopodobieństwa. Trening kalibracyjny może również obejmować naukę innych technik, które pomagają skompensować stałą nadmierną lub niedostateczną pewność siebie. Ponieważ badani lepiej radzą sobie z obstawianiem kursów, udając, że obstawiają pieniądze, naucza się, jak zamieniać pytania kalibracyjne na rodzaj gry, która poprawia ich subiektywne prawdopodobieństwo. Opracowano różne metody współpracy, takie jak rynek prognoz , tak aby można było uwzględnić subiektywne szacunki wielu osób.

Metody modelowania stochastycznego, takie jak metoda Monte Carlo, często wykorzystują subiektywne szacunki od „ekspertów w danej dziedzinie”. Badania pokazują, że tacy eksperci mogą być statystycznie zbyt pewni siebie i jako taki model będzie miał tendencję do niedoszacowania niepewności i ryzyka. Trening kalibracyjny służy do zwiększania zdolności osoby do dostarczania dokładnych szacunków dla metod stochastycznych. Badania wykazały, że większość ludzi mogłaby zostać skalibrowana, gdyby poświęcili trochę czasu, a kalibracja danej osoby, tj. Wydajność w dostarczaniu dokładnych szacunków, przenosi się na szacunki dotyczące treści poza szkoleniem kalibracyjnym, takich jak obszar pracy danej osoby. Taka kalibracja mogłaby tylko w pewnym stopniu poprawić dokładność i sugerowała zastosowanie technologii naprawczych oprócz kalibracji ekspertów.

Informacja Applied Economics metoda systematycznie wykorzystuje szkolenia kalibracji jako część procesu modelowania decyzja.

Krytyka kalibracji Jednym z ustaleń w Calibration of Probabilities: The state of the art to 1980 było to, że szkolenie może poprawić kalibrację tylko w ograniczonym stopniu (Lichtenstein et al. 1981).

Zobacz też

Bibliografia

  1. ^ S. Lichtenstein, B. Fischhoff i LD Phillips, „Calibration of Probabilities: The State of the Art to 1980”, in Judgement under Uncertainty: Heuristics and Biases , wyd. D. Kahneman i A. Tversky, (Cambridge University Press, 1982)
  2. ^ J. Edward Russo, Paul JH Schoemaker Decision Traps Simon & Schuster, 1989
  3. ^ Regina Kwon, „The Probability Problem”, Baseline Magazine, 10 grudnia 2001
  4. ^ B. Fischhoff, LD Phillips i S. Lichtenstein, „Calibration of Probabilities: The State of the Art to 1980”, w: Judgment under Uncertainty: Heuristics and Biases, wyd. D. Kahneman i A. Tversky, (Cambridge University Press, 1982)
  5. ^ Douglas Hubbard „Jak mierzyć wszystko: znajdowanie wartości niematerialnych i prawnych w biznesie” John Wiley & Sons, 2007
  6. ^ Kynn, M. (2008), Błąd „heurystyki i uprzedzeń” w pozyskiwaniu ekspertów. Journal of the Royal Statistical Society, Series A (Statistics in Society), 171: 239-264. doi: 10.1111 / j.1467-985X.2007.00499.x
  7. ^ Lichtenstein, S. i Fischhoff, B. (1980). Szkolenie w zakresie kalibracji. Zachowanie organizacyjne i wydajność człowieka, 26 (2), 149-171. doi: 10.1016 / 0030-5073 (80) 90052-5

Zewnętrzne linki