Superforecasters : 전염병 계획가가 세계 최고의 예측 자로부터 배울 수있는 것영국 총리 보리스 존슨 (Boris Johnson)의 전 수석 고문 인 도미닉 커밍스 (Dominic Cummings)에 따르면 전문가들은이를 비극적으로 틀렸다고합니다. 커밍스는 주장했다 2020 년 XNUMX 월 영국 정부의 공식 과학적 조언이 전염병이 어떻게 전개 될 것인지를 크게 오해하여 수천 명의 목숨을 앗아가는 봉쇄 지연으로 이어 졌다고합니다.

Cummings에 따르면, 데이터 과학자 Ben Warner, DeepMind의 인공 지능 연구원 Demis Hassabis, 수학자 Tim Gowers와 같이 전염병이나 의학에 대한 지식이 적은 특정 전문가들이이 시점에서 더 정확한 예측을 제공했습니다.

Cummings는 또한 부채 of 슈퍼 캐스팅 Philip Tetlock, 미래의 사건을 대부분의 사람보다 더 안정적으로 예측하는 사람들에 관한 책. 일부 슈퍼 예보 칭찬 받았다 전염병에 대한 그들의 예측을 위해 다른 사람들도 전문가의 비판 기록.

그렇다면 정부는 과학 전문가에 의존하는 대신 초 예측기를 더 많이 사용해야합니까? 증거는 그렇게 분명하지 않습니다. 그러나 정부가 초 예측으로부터 배울 수있는 것이 분명히있는 것 같습니다.

안에 유명한 미국 연구 2014 년에 발표 된 수퍼 예보에 따르면 그들은 엘리트 승무원이었습니다. 상위 2 %의 경쟁자 만이 지정 학적 예측 토너먼트에서 우승을 차지할만큼 충분히 잘 수행했습니다. 그들의 임무는 수십 개의 질문에 대한 가능한 답에 확률을 할당하는 것이 었습니다.


내면의 구독 그래픽


연구자들은 몇 가지 예시를 제공합니다. 2012 년 러시아 대통령은 누구일까요? 북한이 앞으로 XNUMX 개월 안에 또 다른 핵무기를 폭발시킬 것인가? 내년에 얼마나 많은 난민이 시리아를 떠날 것입니까?

물론, 누군가가 XNUMX 년을 잘한다고해서 그들이 다른 누구보다 더 능숙하다는 것을 증명하는 것은 아닙니다. 어쩌면 그들은 운이 좋았을 것입니다. 우리는 그들이 실제로 얼마나 "수퍼"인지 평가하기 위해 그들이 다음 해에 얼마나 잘했는지 살펴 봐야합니다.

놀랍게도이 슈퍼 예측 자들은 토너먼트가 XNUMX 년 더 지속되면서 우위를 유지했습니다. 실제로 다른 최고 성과 자만 포함 된 "수퍼 예측 팀"으로 결합 된 후 성과가 ​​상당히 증가했습니다. 연구진은 또한 팀으로 작업하고 관련 교육을 받으면 통제 조건의 예측가에 비해 다른 예측가의 성과가 향상된다는 사실을 발견했습니다.

팀 및 교육

영국의 대유행 계획이 "고전적인 그룹 사고 거품"으로 인해 어려움을 겪었다 고 Cummings의 말을 받아들이 든 그렇지 않든, 우리는 팀이 항상 현명한 결정을 내리지는 않는다는 것을 알고 있습니다. 미국 연구에서 팀을 더 성공적으로 만든 이유는 무엇입니까?

확실하게 말하기는 어렵지만 연구원들은 특정 예측을 뒷받침하는 증거에 대해보다 명확한 생각을 장려하고, "현재 예측과 상반되는 증거를 찾고", 대안 적 관점을 건설적으로 도입하기 위해 정확한 질문을 팀에 요청하도록 특별히 권장했습니다. .

그런 논쟁은 집단 판단력 향상집단적 사고를 경계하다. 팀원들이 합의에 도달 할 필요도 없었습니다. 그들은 정보와 의견을 공유했지만 알고리즘으로 결합 된 개별 예측을 계속했습니다. 특히 Superforecaster 팀은 참여도가 높은, 자주 정보를 공유하고 다른 팀원에게 질문합니다.

또 다른 연구 어떤 특정 훈련 기술이 가장 도움이되는지 자세히 살펴 보았습니다. 세 가지 기술은 특히 더 높은 정확도와 관련이 있습니다. 첫 번째는 소위 비교 클래스의 사용이었습니다.

예를 들어, 베네딕트 컴버 배치와 소피 헌터가 XNUMX 년 후에도 여전히 함께있을 확률을 예측하려는 경우, 관련성있는 다른 "클래스"(예 : 유명인 결혼 클래스 또는 일반적으로 결혼. 이를 통해 역사를 살펴보고 내 예측을 알릴 수 있습니다. 특정 XNUMX 년 동안 유명인 결혼이 끝나는 비율은 얼마입니까?

두 번째는 가능한 경우 수학적 및 통계적 모델을 사용하여 자신의 견해를 알리는 것입니다. 세 번째는 "올바른 질문을 선택"하는 것이 었습니다. 주제에 대해 다른 사람보다 더 많이 알고 있거나 추가 연구가 도움이 될만한 질문에 대한 답변을 예측하는 데 더 많은 시간을 할애하라는 권장 사항입니다. 그러나 연구자들은 트레이닝 성능 향상에 전체적으로 기여했을 수 있습니다.

연구에 따르면 과거 성과를 추적하면 정확도가 향상됩니다. -하지만 피드백의 종류가 중요합니다. 20 %의 시간에 일어날 것이라고 생각한 결과가 실제로 20 %의 시간에 발생 했습니까? 90 %의 시간 동안 일어날 것이라고 생각한 결과는 어떻습니까? 이런 종류의 정보를받는 사람들의 성능이 향상됩니다.

정부가 더 잘할 수 있습니까?

영국 정부가 슈퍼 예보 팀으로부터 의견을 구함으로써 COVID-19에 대해 더 잘할 수 있었을까요? 있을 수있다. Superforecasters at 선량한 판단 심판 및 실무 예측가 메타큘러스 (내가 참여한) 각각은 COVID-19에 대해 잘 해낸 것 같으며 Metaculus는 뛰어난 전문가 즉, 2020 년 XNUMX 월 최근 시리즈 COVID-19 관련 예측 중 훈련 된 예측가가 항상 전문가보다 정확하지는 않았습니다. 설문 조사의 연구자들은 도메인 전문가와 훈련 된 예측가의 예측을 "합의 예측"으로 결합하는 방법을 실험하고 있습니다.

슈퍼가 아닌 사람들이 더 나은 예측을하는 데 도움이 된 훈련조차도 유용했을 것입니다. 예를 들어, Cummings는 역학 모델에 많은 관심이 있었지만 중환자 실에서보고하는 데이터와 같은 모델의 가정과 모순되는 증거는 무시되었다고 주장했습니다. "현재 예측과 상반되는 증거를 찾는"훈련을받은 누군가가이 사실을 더 일찍 발견했을 수도 있습니다.

물론 문헌의 모든 권고가 정부 환경에서 실용적이지는 않습니다. 이론적으로 정부는 이러한 권장 사항을 스스로 테스트하여 유익한 것으로 보이는 것을 채택 할 수 있습니다. 불행히도 측정하지 않는 것은 개선 할 수 없습니다.

In 슈퍼 캐스팅, Tetlock은 예측 개선에 진지한 조직이라면 최소한 내부적으로 구체적인 수치를 첨부해야한다고 강조합니다. "심각한 가능성"과 같은 문구는 한 사람에게는 20 %, 다른 사람에게는 80 %의 기회를 의미 할 수 있습니다.

이것은 거의 확실히 Cummings가 언급 한 것입니다. 그가 말했을 때:“Phil Tetlock이라는 사람이 책을 썼는데 그 책에서 그는 합리적이고 가능성이있는 단어를 사용해서는 안된다고 말했습니다. 모든 사람을 혼란스럽게하기 때문입니다.” 평가할 수있는 방식으로 예측을하지 않는 조직이이를 개선하는 방법을 배울 준비가되어 있지 않다고해도 놀랄 일이 아닙니다. 개선하려면 먼저 시도해야합니다.

저자에 관하여

Gabriel Recchia, 연구원, Winton Center for Risk and Evidence Communication, University of Cambridge

관련 도서 :

몸이 점수를 유지합니다: 트라우마 치유에서 뇌의 마음과 몸

베셀 반 데르 콜크

이 책은 트라우마와 신체적, 정신적 건강 사이의 연관성을 탐구하여 치유와 회복을 위한 통찰력과 전략을 제공합니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

호흡: 잃어버린 예술의 새로운 과학

제임스 네스터

이 책은 호흡의 과학과 실습을 탐구하고 신체적, 정신적 건강을 개선하기 위한 통찰력과 기술을 제공합니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

식물 패러독스: 질병과 체중 증가를 유발하는 "건강한" 식품의 숨겨진 위험

스티븐 알 건드리

이 책은 식습관, 건강 및 질병 사이의 연관성을 탐구하여 전반적인 건강과 웰빙을 개선하기 위한 통찰력과 전략을 제공합니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

면역 코드: 진정한 건강과 근본적인 노화 방지를 위한 새로운 패러다임

조엘 그린

이 책은 후생유전학의 원리를 바탕으로 건강과 노화를 최적화하기 위한 통찰력과 전략을 제공함으로써 건강과 면역에 대한 새로운 관점을 제시합니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

단식에 대한 완전한 가이드: 간헐적, 격일 및 장기 단식을 통해 몸을 치유하십시오

제이슨 펑 박사와 지미 무어

이 책은 전반적인 건강과 웰빙을 개선하기 위한 통찰력과 전략을 제공하는 단식의 과학과 실천을 탐구합니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

이 문서는 원래의 등장 대화