과학적 연구가 잘못되었을 수도있는 한 가지 이유

이있다 복제 가능성 위기 과학에서 - 정체 불명의 "가양 성"은 최고의 연구 저널까지 퍼져 나갔다..

거짓 긍정 (false positive)은 실제로는 효과가 없다는 주장입니다. 출판 된 논문의 어느 부분에 그러한 부정확하거나 과장된 결과가 포함되어 있는지 알 수는 없지만 비율이 작지 않다는 신호.

역학자 John Ioannidis는이 현상에 대해 2005의 유명한 논문에서 도발적으로 "왜 가장 많이 발표 된 연구 결과가 거짓인지". Ioannidis가 여러 가지 잘못된 결과를 제시 한 이유 중 하나는 "p 연구자들이 통계적으로 유의미한 결과를 얻으려는 압력으로 인해 발생하는 해킹입니다.

통계적 유의성은 무엇입니까?

데이터에서 결론을 도출하기 위해 연구자들은 중요성 테스트. 간단히 말해서, 이것은 "p 가치 "는 실제로 효과가 없다면 우리와 같은 결과의 확률입니다. 만약 p 값이 충분히 작 으면 결과는 통계적으로 유의하다고 선언됩니다.

전통적으로 p .05보다 작은 값이 중요성의 기준입니다. 신고하면 p<.05, 독자는 실제 효과를 찾았다 고 생각할 가능성이 높습니다. 그러나 실제로 효과가 없으며 오 탐지를보고했을 수 있습니다.


내면의 구독 그래픽


많은 저널은 하나 이상의 통계적으로 중요한 영향을보고 할 수있는 연구만을 발표 할 것입니다. 대학원 학생들은 신화를 달성한다는 것을 빨리 배웁니다. p

달성해야 할 압력 pP 해킹.

의 유혹 p 컴퓨터 조작을 즐기기

설명하기 p 해킹은 여기 가상의 예입니다.

Bruce는 최근에 박사 학위를 취득했으며, 그의 분야에서 최고의 연구 팀 중 한 곳에 합류하기위한 권위있는 보조금을 받았습니다. 그의 첫 번째 실험은 잘 진행되지 않지만 Bruce는 절차를 신속하게 개선하고 두 번째 연구를 실행합니다. 이것은 더 유망 해 보이지만 여전히 p 값은 .05보다 작습니다.

그는 뭔가에 있다고 확신하면서 Bruce는 더 많은 데이터를 수집합니다. 그는 약간의 결과를 떨어 뜨리기로 결정했는데, 그것은 분명히 벗어났습니다.

그런 다음 자신의 조치 중 하나가 더 명확한 그림을 제공한다는 사실을 알게되고, 그에 초점을 맞 춥니 다. 몇 가지 개조와 브루스는 마침내 약간 놀랍지 만 실제로 흥미로운 효과를 확인합니다. p

브루스는 그렇게 열심히 노력하여 알고 어딘가에 숨어 있었다. 그는 또한 명중 할 압력을 느끼고 있었다. p

실제로는 아무런 효과가 없었습니다. 통계적으로 유의미한 결과에도 불구하고 Bruce는 위양성을 발표했습니다.

Bruce는 자신의 과학적 통찰력을 사용하여 연구를 시작한 후 다양한 단계를 거쳐 숨어있는 효과를 드러내고 있다고 생각했습니다.

  • 그는 추가 데이터를 수집했다.
  • 그는 비정상적인 데이터를 삭제했습니다.
  • 그는 그의 조치 중 일부를 떨어 뜨 렸으며 가장 유망한 것에 집중했다.
  • 그는 데이터를 조금씩 다르게 분석하고 몇 가지 추가 조정을했습니다.

문제는 이러한 모든 선택이 이루어진 것입니다. 시간 내에 데이터를 볼 수 있습니다. 브루스는 무의식적으로 체리 피킹을 할 수도 있습니다. pp

통계 학자들은 다음과 같이 말합니다. 데이터를 충분히 고문하면 고백 할 것입니다. 데이터를 본 후에 선택한 선택과 개조는 의심스러운 연구 사례입니다. 이들을 사용하여, 의도적으로 또는하지 않고, 올바른 통계 결과를 얻는 것은 p 컴퓨터 조작을 즐기기이는 게시 된 중요한 이유 중 하나이며, 통계적으로 유의미한 결과는 거짓 긍정 일 수 있습니다.

게시 된 결과의 어떤 부분이 잘못 되었습니까?

이것은 좋은 질문이며, 까다 롭고 까다로운 질문입니다. 아무도 다른 연구 분야에서 다를 가능성이있는 해답을 모른다.

사회 심리학 및인지 심리학에 대한 질문에 대답하기위한 크고 인상적인 노력이 2015에 게시되었습니다. 브라이언 노제크 (Brian Nosek)와 그의 동료들에 의해 열린 과학 센터 (Center for Open Science)에서 주도한 Replicability 프로젝트 : 심리학 (RP : P) 전 세계의 100 연구 그룹이 각각 100 게시 결과 중 하나의 신중한 복제를 수행했습니다. 사무용 겉옷, 거친 40은 꽤 잘 복제했다.반면 60의 경우 복제 연구는 작거나 작은 영향을 받았다.

100 RP : P 복제 연구는 원래 연구에서보고 된 효과의 크기의 절반에 불과한 것으로보고했습니다. 신중하게 실시 된 복제는 아마 아마도 p 원래의 연구 결과를 해킹했기 때문에 원본 연구가 평균적으로 2의 요인으로 진정한 효과를 과대 평가했다고 결론을 내릴 수 있습니다. 그것은 놀랍다!

피하는 법 p 컴퓨터 조작을 즐기기

피해야 할 가장 좋은 방법 p 해킹은 데이터를 본 후 선택이나 조작을 피하는 것입니다. 다시 말해, 의심스러운 연구 관행을 피하십시오. 대부분의 경우이 작업을 수행하는 가장 좋은 방법은 사전 등록.

사전 등록을 위해서는 데이터에 적용 할 통계 분석을 포함하여 상세한 연구 계획을 미리 준비해야합니다. 그런 다음 날짜 스탬프가있는 계획을 열린 과학 프레임 워크 또는 다른 온라인 레지스트리.

그때 연구를 수행하고, 계획에 따라 데이터를 분석하고, 결과가 무엇이든 그것을보고하십시오. 독자는 사전 등록 계획을 확인할 수 있으므로 분석이 사전에 지정되었는지 여부를 확신 할 수 있습니다. p 해킹 당했다. 사전 등록은 많은 연구자에게는 도전적인 새로운 아이디어이지만 미래의 길일 것 같습니다.

예상보다 p

유혹 p 해킹은에 의존하는 것의 큰 단점 중 하나입니다. p 값. 또 다른 한 가지는 p오히려 효과가 존재한다고 말하거나 그렇지 않은 것처럼 말입니다.

그러나 세상은 흑백이 아닙니다. 회색 음영을 많이 인식하려면 사용하는 것이 훨씬 낫습니다. 견적 보다는 p 값. 추정의 목적은 효과의 크기를 추정하는 것입니다. 효과의 크기는 작거나 크게, 0 또는 음수 일 수 있습니다. 추정의 관점에서 위양성 결과는 실제 효과 값보다 크거나 훨씬 큰 추정치입니다.

치료의 영향에 대한 가상의 연구를 봅시다. 이 연구는 예를 들어 치료가 평균적으로 7 점수가 불안감을 줄인다 고 평가할 수 있습니다. 우리가 우리의 데이터로부터 신뢰 구간 - [4, 10]의 가장 좋은 추정치의 불확실성 범위. 이것은 7에 대한 우리의 추정치가 진정한 효과의 불안 척도에 대한 3 점 (치료의 진정한 평균 이익) 내에서 이루어질 가능성이 높다는 것을 말해줍니다.

즉, 신뢰 구간은 우리의 추정치가 얼마나 정확한지를 나타냅니다. 그러한 견적과 그 신뢰 구간을 아는 것은 어떤 것보다 훨씬 유익합니다. p 값.

평가를 "새로운 통계"중 하나로 언급합니다. 기술 그 자체는 새로운 것이 아니지만 데이터에서 결론을 이끌어내는 주요 방법으로이를 사용하는 것이 많은 연구자들에게 새로운 것이고 큰 발전 일 것입니다. 또한 다음과 같은 이유로 인한 왜곡을 피할 수 있습니다. p 해킹.

저자에 관하여

Geoff Cumming, 명예 교수, 라 트로 베 대학

이 기사는 원래에 게시되었습니다. 대화. 읽기 원래 기사.

관련 도서 :

at 이너셀프 마켓과 아마존