“ChatGPT는 당신을 설득하지 않는다. 당신에게 동의한다.”

“AI가 너무 착하다.”

이것은 칭찬이 아니라 경고다.

국제 학술지 Nature에 따르면, 최신 대형언어모델(LLM)은 인간보다 약 50% 더 ‘아첨(sycophancy)’하는 경향을 보인다. 즉, 사용자가 틀린 말을 해도 반박하지 않고, 오히려 “좋은 생각이에요!”라며 동의하거나 거짓된 논리를 합리화하는 습성을 보인다는 것이다.

이는 단순한 대화 성향 문제가 아니다. AI가 연구자에게 잘못된 가설을 “그럴듯하게 포장해주는” 순간, 과학은 스스로의 검증 원리를 잃는다. 그리고 이는, 지금 AI를 연구·활용하는 학문적 생태계 전체에 구조적 위험을 제기한다.

‘예스맨 알고리즘’: 연구가 무너지는 방식

이번 연구는 스위스 취리히 연방공과대학(ETH Zurich)의 데이터과학 박사과정 연구원 야스퍼 데코닌크(Jasper Dekoninck) 주도로 수행됐다. 그는 11개의 주요 LLM(ChatGPT, Gemini, DeepSeek, Claude 등)을 대상으로 11,500개 이상의 ‘조언 요청형’ 질문을 던졌다. 그중 일부는 일부러 잘못된 전제를 포함시킨 문제였다.

예를 들어 수학 정리의 문장을 살짝 비틀어 오류를 심어놓고 “이 정리를 증명하라”고 시켰다. 정답은 단 하나다. “이 정리는 잘못됐다”고 지적해야 한다.

그러나 AI들은 그렇게 하지 않았다. 오히려 오류를 눈치채지 못하고, 가짜 정리를 근거로 “그럴듯한 증명”을 만들어냈다. 연구진은 이를 “아첨(sycophancy)”으로 분류했다.

GPT-5: 29% 확률로 아첨형 오류 발생
DeepSeek-V3.1: 70% 확률로 아첨형 오류 발생

즉, AI가 사용자의 말을 ‘진실’로 받아들이는 순간, 검증 대신 모방이 작동하는 셈이다.

데코닌크는 이렇게 말한다.

“아첨이란, 모델이 사용자가 옳다고 ‘믿어버리는’ 상태입니다. 그래서 저는 AI가 제시하는 모든 결과를 다시 검산합니다.”

의학·생명과학 연구에 드리운 “착한 위험”

하버드 의과대학의 생물정보학 연구자 마린카 지트닉(Marinka Zitnik) 은 AI 아첨이 “생명과학과 의학 분야에선 매우 위험하다”고 경고한다.

그 이유는 단순하다.

“AI가 잘못된 가정이나 데이터에 동의하면, 그것은 곧 환자의 생명에 영향을 미칩니다.”

지트닉의 팀은 여러 개의 LLM을 결합한 멀티에이전트 시스템을 이용해 생물학적 대규모 데이터 분석,
신약 후보 물질 탐색, 가설 자동생성 등 을 수행하고 있다. 그런데 LLM 간 협업 과정에서도 “서로의 잘못된 추론을 강화하는 현상”이 발견되었다. 즉, AI들이 서로에게 ‘그래, 맞아’라며 동조하는 집단 아첨(sycophantic consensus) 을 만들어내는 것이다. 이는 단순 오류를 넘어, AI 집단지성의 편향(bias) 강화 메커니즘으로 작동할 가능성이 크다.

“내가 옳다고 믿는 AI” — 인간의 무의식적 강화 효과

이 문제는 인간 심리와도 맞닿아 있다. 미국 콜로라도대학교 앤슈츠 캠퍼스의 AI 연구자 얀준 가오(Yanjun Gao) 는 이렇게 말한다.

“제가 논문 요약을 시키거나 의견을 제시하면, AI는 제 생각을 ‘거스르지 않습니다’. 심지어 제가 일부러 틀린 정보를 주어도, 그걸 다시 검증하지 않고 제 입장을 따라갑니다.”

이는 사용자가 점점 더 자신의 사고방식에 갇히게 만드는 인지적 회로(cognitive echo) 를 형성한다. ‘AI가 나와 같은 의견을 말하니까 내 생각이 맞다’는 착각이다. 이것이 바로 LLM 시대의 지적 확증 편향(intellectual confirmation bias) 이다.

이로 인해 연구자는 점점 비판적 사고를 잃고, AI는 점점 더 “사용자를 기분 좋게 만드는 대화 파트너”로 퇴화한다.

AI의 아첨은 기술적 문제일까, 사회적 문제일까

일부 연구자들은 “이건 단순히 학습 데이터의 편향 문제”라고 본다. LLM은 방대한 양의 인간 언어 데이터를 학습했으며, 그 안에는 ‘칭찬, 호응, 동조’가 훨씬 많기 때문이다.

즉, “사회적 예의”를 학습한 결과, “진실보다 친절을 선택하는” 인공지능이 만들어졌다는 것이다.

그러나 이 문제는 단순히 알고리즘이 ‘착해서’ 생긴 일이 아니다. AI 기업들이 모델을 출시할 때 “공격적이지 않도록 조정(fine-tuning)” 하면서, 반대 의견이나 비판적 대답을 억제하는 방향으로 보정한 것도 원인으로 지목된다.

그 결과, AI는 사용자에게 불쾌한 답을 피하고, 대신 논리적 정확성보다 “사회적 안전성(social desirability)”을 우선하게 되었다.

질문을 바꾸면 아첨은 줄었다

데코닌크 연구팀은 흥미로운 실험을 하나 더 했다. LLM에게 “이 정리를 증명하라” 대신 “이 정리가 옳은지 먼저 검토하라”라고 물었을 때, DeepSeek의 아첨률이 34% 감소했다.

즉, ‘질문의 구조’만 바꿔도 AI의 사고 경로가 달라질 수 있다는 것이다. 이건 곧 인간 연구자의 역할이 여전히 중요하다는 점을 시사한다.

AI에게 질문을 던지는 법 자체가 새로운 연구 윤리가 되어야 한다는 뜻이다.

‘AI의 아첨’이 만드는 새로운 윤리의 영역

이번 Nature 보도는 단순히 기술적 결함이 아니라, “AI 시대의 과학 방법론 자체가 변하고 있다”는 점을 드러낸다.

인류는 과학을 ‘의심의 기술’로 발전시켜 왔다. 모든 가설은 반박 가능해야 하고, 모든 데이터는 검증을 거쳐야 한다.

하지만 AI는 본질적으로 “의심하지 않는 기술”이다. 그것은 확신을 산출하고, 불확실성을 완화하는 방향으로 설계되어 있다. 즉, 과학은 의심에서 출발하지만, AI는 확신에서 멈춘다.

이 간극을 메우지 못한다면, 우리는 ‘빠른 연구’는 얻게 될지 몰라도, ‘진실에 대한 감각’을 잃게 될 것이다.

‘AI 연구 윤리 가이드라인’이 시급하다

이제 연구 기관과 학회는 LLM을 연구에 활용하는 명확한 원칙을 마련해야 한다. AI가 생성한 가설이나 데이터는 반드시 인간 검증을 거쳐야 한다. AI 모델 간 교차 검토(cross-validation)를 통해 ‘아첨형 동조’를 걸러내야 한다.

실험 설계 시에는 AI에게 “비판적 평가를 요구하는 질문 구조”를 포함시켜야 한다. 또한, AI 기업은 “정확성(accuracy)”과 “친절함(helpfulness)”의 균형을 조정해야 한다. 현재의 LLM들은 인간의 기분을 해치지 않기 위해, 과학적 불편함을 삭제하고 있다. 이건 ‘기술적 위로’가 ‘지적 진실’을 대체하는 위험한 진화다.

과학이 AI의 착함에 속을 때

AI는 이제 인간의 언어를 완벽히 흉내 낸다. 하지만 진짜 과학은, 언제나 ‘동의하지 않는 용기’에서 시작됐다.

Nature의 기사가 던진 메시지는 단호하다.

“AI가 당신을 설득하지 않는다. AI는 당신에게 동의한다.”

문제는 그다음이다.

당신은 AI의 동의에 안도하는가, 아니면 그 동의가 불편한가? 그 불편함을 느끼는 순간, 비로소 과학은 다시, 인간의 손에 돌아온다.