[논문리뷰] 발표된 연구결과는 다시 나올까?

1. 논문에 실렸다는 사실만으로 충분할까?

학술지에 게재되고 통계적으로 유의한 결과가 나왔다면 우리는 그 결과를 어느 정도까지 믿을 수 있을까? 과학적 연구결과는 한 번의 실험으로 완성된 지식이 아니라, 다른 연구자가 같은 주장을 독립적으로 검증하는 과정을 거치며 신뢰를 얻는다.

이 질문에서 이번 논문리뷰를 시작한다.

한 번 확인된 연구결과는 다른 연구자가 다시 검증해도 나타날까?

2. ‘재현’과 ‘복제’는 어떻게 다른가?

먼저 혼용되기 쉬운 두 개념을 구분한다.

• 재현 가능성(Reproducibility)​은 기존 연구의 자료와 분석 코드를 사용했을 때 같은 결과가 계산되는지를 의미한다.

• 복제 가능성(Replicability)​은 새로운 자료나 독립적인 연구를 통해 기존 연구의 결론이 다시 확인되는지를 의미한다.

이번 연구가 다룬 것은 후자이다. 연구진은 이미 발표된 긍정적 연구주장을 독립적인 연구를 통해 다시 검증하고, 기존 결과가 어느 정도 반복되는지를 분석했다.

3. 274개의 연구주장을 어떻게 다시 검증했나?

연구진은 2009년부터 2018년까지 사회·행동과학 분야 54개 학술지에 게재된 164편의 정량 연구에서 274개의 긍정적 연구주장을 선정했다.

복제 연구는 원래 보고된 효과를 발견할 수 있도록 높은 통계적 검정력을 확보했다. 중앙값 기준 검정력은 99.6%였으며, 가능한 경우 원 연구의 실험자료와 측정도구를 사용했다. 연구계획은 표준화된 절차에 따라 자료수집 전에 검토됐다.

이러한 설계는 단순히 기존 연구를 비판하기보다, 복제 연구 자체의 품질을 충분히 확보한 상태에서 기존 주장을 공정하게 다시 시험하려는 시도였다는 점에서 의미가 있다.

4. 같은 결과가 다시 나타난 비율은 55.1%

274개 연구주장 가운데 원 연구와 같은 방향에서 통계적으로 유의한 결과가 다시 확인된 것은 151개였다. 비율로는 55.1%이다.

한 논문에서 여러 주장을 복제한 경우를 보정해 논문 단위로 계산한 추정치는 49.3%였다. 학문 분야별 복제율은 약 42.5%에서 63.1% 사이로 나타났지만, 일부 분야의 추정치는 불확실성이 컸다.

이 결과만 보면 “사회과학 연구의 절반만 믿을 수 있다”는 결론을 내리고 싶어질 수 있다. 그러나 논문의 핵심은 그렇게 단순하지 않다.

5. 다시 확인된 효과도 원래보다 작았다

원 연구에서 보고된 효과크기의 중앙값은 Pearson’s r=.25였지만, 복제 연구에서는 r=.10으로 줄었다. 연구진은 이를 공유분산 기준 약 82.4%의 감소로 보고했다.

효과가 작아진 이유로는 여러 가능성을 생각할 수 있다.

첫째, 학술지에는 통계적으로 유의한 긍정적 결과가 상대적으로 더 많이 발표된다. 둘째, 처음 관찰된 효과가 우연한 표본 변동으로 실제보다 크게 추정됐을 수 있다. 셋째, 연구대상이나 시기, 문화, 측정환경이 달라지면 효과의 크기도 달라질 수 있다.

따라서 복제 연구에서 효과가 작아졌다는 사실은 기존 연구가 모두 잘못됐다는 의미가 아니라, 처음 보고된 효과크기가 그대로 반복된다고 가정해서는 안 된다는 의미에 가깝다.

각 점은 하나의 복제 대상 연구주장을 나타낸다. 대각선 아래의 점은 복제 연구에서 확인된 효과가 원 연구보다 작았음을 의미한다. 파란색은 같은 방향에서 통계적으로 유의한 결과, 붉은색은 유의하지 않거나 반대 방향으로 나타난 결과이다.

6. 복제되지 않았다는 것은 ‘거짓’이라는 뜻일까?

이 논문을 소개할 때 가장 주의해야 할 부분이다.

연구진은 긍정적 결과만을 복제 대상으로 선정했기 때문에 평균으로의 회귀와 효과크기 감소가 어느 정도 예상된다고 밝혔다. 또한 어떤 기준으로 복제 성공을 판단하느냐에 따라 성공률은 28.6%에서 74.8%까지 달라졌으며, 13개 평가방법의 중앙값은 49.3%였다.

따라서 복제에 실패한 결과를 곧바로 다음과 같이 해석해서는 안 된다.

“원 연구는 틀렸다.”

보다 정확한 해석은 다음과 같다.

“현재의 복제 조건에서는 기존 주장을 같은 강도로 다시 확인하지 못했다.”

복제 결과는 연구주장의 진위를 한 번에 판결하는 최종 심판이라기보다, 기존 증거에 새로운 증거를 추가해 신뢰도를 조정하는 과정이다.

13가지 복제 성공 판단 기준을 적용한 결과, 논문 단위 성공률은 28.6%에서 74.8%까지 달라졌으며 중앙값은 49.3%였다. 이는 복제 성공 여부가 하나의 절대적 기준으로만 결정되지 않음을 보여준다.

7. 과학의 신뢰는 ‘한 번의 성공’이 아니라 ‘검증 가능한 과정’에서 나온다

이 연구는 과학을 불신해야 한다고 말하지 않는다. 오히려 과학이 스스로의 결과를 다시 확인하고 수정할 수 있는 체계여야 한다는 점을 보여준다.

연구의 신뢰도를 높이기 위해서는 다음과 같은 변화가 필요하다.

• 연구가설과 분석방법의 사전등록

• 연구자료·분석코드·측정도구의 공개

• 충분한 표본과 적절한 통계적 검정력 확보

• 유의하지 않은 결과를 포함한 결과보고

• 독립적인 복제 연구에 대한 학술적 인정

실제로 이 연구의 자료와 코드도 공개 저장소를 통해 제공되고 있다. 이는 연구결과뿐 아니라 그 결과가 만들어진 과정까지 검토할 수 있어야 한다는 오픈사이언스의 원칙을 보여준다.

8. 결론: 좋은 과학은 틀리지 않는 과학이 아니다

이번 연구의 결과를 “사회·행동과학 연구의 절반은 거짓이다”라고 요약하는 것은 지나치게 단순하다.

이 논문이 보여주는 더 중요한 메시지는 과학적 지식이 한 편의 논문이나 하나의 유의확률로 완성되지 않는다는 사실이다. 같은 질문을 다른 연구자가 다시 검증하고, 결과가 달라질 경우 그 원인을 탐색하며, 여러 연구의 증거를 축적할 때 비로소 신뢰할 수 있는 지식에 가까워진다.

좋은 과학은 한 번도 틀리지 않는 과학이 아니라, 틀릴 가능성을 공개하고 반복해서 검증할 수 있는 과학이다.