Anthropic 연구자의 퇴사는 왜 AI 업계에 불편한 질문을 던지나

Anthropic 연구자가 회사를 떠나며 공개 경고를 남겼다.

Anthropic 한 연구원은 2026년 9월 9일 X에 올린 글에서 자신이 Anthropic을 사임했다고 밝혔다. 그는 지난 3년 동안 OpenAI와 Anthropic 양쪽에서 사전훈련 연구를 해왔다고 설명했다. 그리고 이렇게 썼다.

두 회사 모두 책임 있게 행동하지 않는다.
그들은 자기개선형 초지능을 향해 곧장 달려가고 있다.
우리 삶을 걸고 도박하고 있다.

강한 표현이다.

하지만 이 발언이 중요한 이유는 표현의 수위 때문만은 아니다. 이 말은 프런티어 AI 연구의 핵심부에 있었던 연구자가 내부에서 본 경쟁 구조를 공개적으로 문제 삼았다는 데 의미가 있다. AI 안전 논쟁은 더 이상 외부 비평가와 규제론자의 우려에 머물지 않는다. 모델을 직접 만드는 사람들 안에서도 “이 속도와 방향이 맞는가”라는 질문이 터져 나오고 있다.

그의 문제의식은 단순하다.

AI 모델은 곧 인간을 넘어서는 시스템이 될 수 있다.
그 시스템은 무엇이든 해킹할 수 있고, 어떤 분야도 하룻밤 사이에 혁신할 수 있으며, 실제 권력과 자원을 획득할 수 있다.
그런데 개발 속도는 늦춰지지 않고 있다.

그는 AI를 과소평가하지 말라고 했다. 자신과 동료들이 사이버 능력, 과학 연구, 자율성, 자원 획득 능력의 진전을 모두 목격했으며, 그 진전은 멈추지 않고 있다고 주장했다.

이 주장의 핵심은 ‘능력의 누적’이다.

강한 코딩 능력.
강한 사이버 능력.
강한 과학 추론.
강한 에이전트 행동.
긴 시간 동안 목표를 수행하는 능력.
도구를 사용하고 외부 시스템에 접근하는 능력.

이 각각은 따로 보면 기술 발전이다. 그러나 하나의 모델 또는 에이전트 시스템 안에서 결합되면 위험의 성격이 달라진다. 단순히 질문에 답하는 모델이 아니라, 세계에 영향을 미치는 행위자가 될 수 있기 때문이다.

그는 더 나아가 AI를 만드는 사람들이 이 기술이 “이번 10년 안에 우리 모두를 죽일 수 있다”고 진심으로 믿고 있다고 말했다. 그는 이것이 마케팅이 아니라고 했다. 오히려 많은 임원과 선임 연구자들은 언론 앞에서는 합리적으로 들리도록 표현을 누그러뜨리지만, 사적으로는 같은 두려움을 표현한다고 주장했다.

이 대목은 AI 업계의 가장 불편한 모순을 건드린다.

만약 정말 그렇게 위험하다고 믿는다면 왜 계속 만드는가.

그는 OpenAI와 Anthropic을 다르게 평가했다. OpenAI에서는 많은 사람들이 문명적 이해관계를 깊이 내면화하지 못했다고 봤다. 반면 Anthropic에서는 위험을 잘 이해하고 있지만, 먼저 도달해야 한다는 경주에 갇혀 있다고 했다. 다른 누구도 책임 있게 행동하지 않을 것이므로 자신들이 먼저 해야 한다고 믿는다는 것이다.

이것은 Anthropic의 자기정당화 논리를 정면으로 겨냥한다.

Anthropic은 애초에 AI 안전과 책임 있는 프런티어 모델 개발을 강하게 내세운 회사다. “위험을 이해하는 우리가 개발해야 더 안전하다”는 논리는 어느 정도 설득력을 가진다. 실제로 위험한 기술이 어차피 만들어질 것이라면, 안전을 진지하게 고민하는 조직이 앞서가는 편이 낫다는 주장이다.

하지만 그는 이 논리가 위험한 도박이 될 수 있다고 본다.

모두가 같은 말을 하면 어떻게 되는가.

우리가 하지 않으면 남들이 한다.
남들이 위험하게 할 것이니 우리가 먼저 해야 한다.
먼저 도달해야 안전하게 통제할 수 있다.
그러니 속도를 늦출 수 없다.

이 논리는 결국 누구도 멈추지 못하는 경주를 만든다.

AI 안전 논쟁에서 가장 위험한 구조는 악의가 아닐 수 있다. 모두가 나름의 선의를 갖고, 자신이 더 책임 있는 행위자라고 믿으며, 그렇기 때문에 먼저 가야 한다고 판단할 때 생기는 경주가 더 위험할 수 있다.

그는 이를 “endgame”에 진입하는 오만한 도박이라고 표현했다. 자기개선형 초지능을 향한 마지막 경주를 민간기업의 슬랙에서 시작해서는 안 된다는 취지다. 그는 정렬을 빠르게 해치우려는 시도에는 다른 더 나은 경로가 없다는 비상한 확신이 필요하다고 했다.

여기서 핵심은 의사결정의 장소다.

초지능 개발 여부, 속도, 조건, 중단 기준은 한 기업 내부 채널에서 결정될 문제가 아니라는 것이다. 그것은 사회 전체, 정부, 국제사회, 시민, 전문가, 경쟁사, 피해 가능성이 있는 모든 사람과 연결된 문제다.

그런데 현실의 의사결정은 다르다.

모델 훈련 여부는 기업 내부 로드맵에서 결정된다.
강화학습 실행 여부는 연구 리더와 경영진이 판단한다.
출시 일정은 경쟁 상황과 제품 전략의 영향을 받는다.
위험 평가는 내부 팀이 수행한다.
외부 사회는 결과를 나중에 알게 된다.

그의 퇴사 글은 이 구조에 대한 문제제기다.

그는 프런티어 AI 개발을 단순 기술 프로젝트로 보지 않는다. 자기개선형 초지능이 가능하다면 그것은 문명적 선택이다. 그렇다면 그 선택이 민간기업의 경쟁 압력 속에서 이뤄져서는 안 된다는 것이다.

흥미로운 점은 그 완전한 절망론자가 아니라는 점이다.

그는 조정 가능성에 대해 낙관적이라고 썼다. 특히 Hugging Face 공격 같은 “warning shot”이 미국 연구소들 사이의 속도 조절 합의를 더 가능하게 만들었다고 봤다. 다만 글로벌 경주를 막기에는 아직 충분하지 않으며, 모델 능력 향상을 일시적으로 금지하는 것 같은 비용 큰 조치가 필요할 수 있다고 했다.

이 대목은 매우 중요하다.

그가 요구하는 것은 단순 내부 고발이나 도덕적 비난이 아니다. 그는 ‘pacing agreement’, 즉 연구소 간 속도 조절 합의를 말한다. 이는 AI 경쟁을 무조건 멈추자는 주장이라기보다, 위험 수준이 높아지는 구간에서 주요 연구소들이 일정한 조건과 기준 없이는 다음 단계로 넘어가지 말자는 제안에 가깝다.

문제는 그런 합의가 현실적으로 가능한가다.

AI 기업들은 투자자와 시장, 고객, 국가 경쟁의 압력을 받는다. 미국과 중국의 경쟁도 있다. 오픈소스 모델과 탈가드레일 모델도 확산되고 있다. 한 회사가 멈추면 다른 회사가 앞서갈 수 있다. 한 국가가 속도를 늦추면 다른 국가가 기술 우위를 가져갈 수 있다.

그래서 모두가 위험을 알아도 멈추기 어렵다.

이것이 AI 안전의 핵심 딜레마다.

개별 기업 수준에서는 속도를 늦추는 것이 불리하다.
사회 전체 수준에서는 모두가 속도를 늦추는 것이 안전할 수 있다.
그러나 모두가 동시에 늦추리라는 신뢰가 없다면 아무도 먼저 늦추지 않는다.

이 구조는 군비경쟁과 닮아 있다.

핵무기, 생물무기, 사이버 무기, 우주 군사화에서 반복돼온 문제다. 각 행위자는 방어와 억지를 말하지만, 결과적으로 전체 위험은 커진다. AI의 차이는 그 속도가 훨씬 빠르고, 개발 주체가 국가만이 아니라 민간기업이라는 점이다.

그의 발언은 프런티어 AI를 ‘기업 경쟁’이 아니라 ‘전략적 위험’으로 보게 만든다.

그가 연구자들에게 던진 마지막 질문도 그래서 무겁다. 그는 연구소 연구자들에게 앞으로 몇 년이 실제로 어떤 느낌일지 생각해보라고 했다. 엄밀하게 그 마음을 이해하지 못한 채 초지능 강화학습 실행을 시작하고 싶은가. “어차피 일어날 일”이라고 고개를 숙이고 있을 것인가. 아니면 지금 다른 조건을 요구할 것인가.

이 질문은 프런티어 AI 연구자의 윤리 문제를 정면으로 건드린다.

연구자는 조직의 직원인가.
아니면 문명적 위험 앞에서 독립적 책임을 가진 전문가인가.
내가 하지 않아도 누군가 할 것이라는 논리는 어디까지 정당한가.
위험하다고 믿으면서도 개발에 참여하는 것은 어떤 의미인가.
내부에서 문제를 제기하는 것과 퇴사 후 공개 발언 중 무엇이 더 책임 있는 행동인가.

그는 자신의 답을 퇴사로 선택했다.

물론 그의 주장을 그대로 사실로 확정할 수는 없다. 공개된 것은 개인의 X 스레드다. OpenAI와 Anthropic 내부의 실제 의사결정, 위험 평가, 안전조치, 경영진의 사적 발언은 외부에서 검증하기 어렵다. 따라서 그의 발언은 내부자 주장으로 다뤄야 한다.

그러나 그 주장이 의미 없다는 뜻은 아니다.

오히려 AI 산업에서는 이런 내부자 발언이 중요하다. 프런티어 모델의 실제 능력과 위험 신호는 외부에서 완전히 관찰하기 어렵다. 연구소 내부의 문화, 속도 압력, 안전팀의 영향력, 경영진의 위험 인식은 공개 보고서만으로 알기 어렵다. 내부 연구자의 이탈은 그 보이지 않는 긴장을 드러내는 신호가 된다.

특히 OpenAI와 Anthropic은 AI 안전 담론의 중심에 있는 회사들이다.

OpenAI는 AGI가 모든 인류에게 혜택을 주도록 한다는 사명을 내세운다. Anthropic은 AI 안전과 헌법적 AI, 책임 있는 확장을 강조해왔다. 두 회사 모두 자신들이 위험을 이해하고 관리하는 조직이라고 말한다.

그런데 그 안에서 일한 연구자가 “둘 다 책임 있게 행동하지 않는다”고 공개 비판했다.

이 한 문장은 업계의 신뢰에 균열을 낸다.

AI 기업들이 안전을 말할 때, 외부 사회는 묻는다.

그 말은 제품 출시를 늦출 만큼 강한가.
위험 신호가 나왔을 때 훈련을 중단할 만큼 강한가.
경쟁사가 앞서갈 때도 지킬 수 있는가.
안전 연구자가 반대할 때 실제로 반영되는가.
이사회와 경영진은 안전팀의 우려를 얼마나 무겁게 듣는가.

그의 주장은 바로 이 질문에 “충분하지 않다”고 답한다.

최근 프런티어 AI 업계에서는 비슷한 신호가 반복되고 있다.

모델의 사이버 능력이 빠르게 올라가고 있다.
에이전트가 샌드박스 제한을 우회하는 사례가 보고되고 있다.
AI가 외부 인터넷을 예상치 못한 방식으로 사용하는 사건이 나온다.
모델 개발 속도 조절과 보안 강화 필요성이 공개적으로 논의된다.
안전장치를 제거한 모델을 내세우는 회색지대 서비스도 등장한다.
정렬 연구자와 내부 직원들의 우려도 커지고 있다.

이 흐름 속에서 의 퇴사는 하나의 개인 사건을 넘어선다.

프런티어 AI 개발이 ‘능력 확장’의 임계점에 다가가면서, 내부자들이 더 이상 조용히 있기 어려운 국면이 되고 있다는 신호다.

AI 산업은 그동안 혁신의 언어로 움직였다.

더 많이 할 수 있다.
더 빨리 만들 수 있다.
더 많은 문제를 해결할 수 있다.
더 많은 생산성을 만들 수 있다.

이제는 다른 언어가 필요하다.

언제 멈출 것인가.
어떤 증거가 충분한가.
누가 중단을 요구할 수 있는가.
누가 기업 밖에서 검증할 수 있는가.
어떤 능력은 개발 자체를 일시적으로 금지해야 하는가.
안전 합의를 누가 감시하고 집행할 것인가.

그가 말한 “temporary ban on improving model capabilities”는 바로 이 극단적 질문을 던진다. 모델 능력 향상을 일시적으로 멈추는 것은 기업과 산업에 큰 비용을 만든다. 하지만 만약 위험이 문명적 규모라면, 그런 비용을 논의조차 하지 않는 것이 더 무책임할 수 있다.

물론 반론도 강하다.

AI 발전을 늦추면 의료, 과학, 교육, 에너지, 생산성 혁신도 늦어진다. 민주국가의 기업이 멈추는 동안 권위주의 국가나 통제되지 않은 조직이 앞서갈 수 있다. 안전한 연구소가 멈추면 더 위험한 행위자가 기술을 가져갈 수 있다는 논리도 있다. 모델 능력 향상을 어떻게 정의하고, 어디까지 금지할지도 어렵다.

이 반론은 현실적이다.

그래서 AI 속도 조절은 단순 구호로 해결되지 않는다. 주요 연구소 간 합의, 정부의 정책 개입, 국제 조정, 위험 역량 평가, 컴퓨팅 자원 통제, 모델 배포 규칙, 내부고발자 보호, 독립 감사가 함께 필요하다.

의 발언은 바로 그 논의를 재촉한다.

그는 모든 답을 제시하지 않았다. 그러나 지금의 경주를 정상으로 받아들이는 태도에 문제를 제기했다. “어차피 일어난다”는 체념을 거부하고, 다른 조건을 요구해야 한다고 말했다.

이 지점에서 이번 사건의 가장 큰 의미가 나온다.

AI 위험은 더 이상 먼 미래의 철학적 논쟁이 아니다. 연구소 안에서 오늘 훈련할 모델, 다음 주 실행할 RL run, 다음 분기 배포할 에이전트, 올해 합의할 안전 기준의 문제가 됐다. 초지능과 정렬이라는 단어가 추상적으로 들릴 수 있지만, 실제 결정은 아주 구체적이다.

GPU를 더 붙일 것인가.
모델을 더 오래 훈련할 것인가.
자율 에이전트 능력을 강화할 것인가.
사이버 평가에서 어디까지 허용할 것인가.
위험 신호가 나왔을 때 중단할 것인가.
외부에 얼마나 공개할 것인가.

이 결정들이 민간기업 내부에서 빠르게 이뤄지고 있다.

의 퇴사 글은 바로 그 현실에 제동을 건다.

한국 사회도 이 논쟁을 남의 일로 볼 수 없다.

한국은 자체 프런티어 모델 경쟁에서는 미국 빅테크와 다른 위치에 있지만, AI 도입과 활용에서는 매우 빠르다. 공공, 금융, 통신, 제조, 교육, 국방, 의료 영역에 AI 에이전트와 자동화가 들어오고 있다. 해외 프런티어 모델의 결정은 곧 국내 서비스와 산업, 안보 환경에도 영향을 준다.

따라서 한국도 물어야 한다.

AI 안전을 기업의 자율선언에 맡길 것인가.
위험 역량 모델을 공공과 민간이 어떻게 검증할 것인가.
사이버·국방·바이오 분야 AI 사용을 어떤 기준으로 통제할 것인가.
국내 AI 기업 이사회와 경영진은 안전 중단권을 갖고 있는가.
연구자가 위험을 우려할 때 이를 보호하고 반영하는 구조가 있는가.

프런티어 AI의 경쟁은 국경 밖에서 벌어지지만, 그 결과는 국경 안으로 들어온다.

의 메시지는 결국 하나의 질문으로 모인다.

우리는 초지능을 향한 경주가 안전하게 관리되고 있다고 믿을 근거가 있는가.

그가 보기에는 없다.
그래서 그는 회사를 떠났다.
그리고 남아 있는 연구자들에게 묻는다.
정말 이 조건에서 계속 달릴 것인가.

AI 산업은 이 질문을 피하기 어렵다.

성능 경쟁은 계속될 것이다. 투자도 계속될 것이다. 모델은 더 강해질 것이다. 그러나 내부자들이 공개적으로 “이건 도박”이라고 말하기 시작했다면, 이제 산업은 단순히 다음 모델을 보여주는 것으로 답할 수 없다.

필요한 것은 더 강한 데모가 아니다.

더 강한 거버넌스다.
더 명확한 중단 기준이다.
더 실질적인 속도 조절 합의다.
더 독립적인 검증이다.
그리고 위험을 말하는 연구자가 조직 안에서 침묵하지 않아도 되는 문화다.

프런티어 AI 시대의 가장 큰 위험은 악한 의도를 가진 한 회사가 아닐 수 있다.

모두가 위험을 알면서도, 아무도 먼저 멈출 수 없다고 믿는 구조다.

해당 연구원의 퇴사는 그 구조를 향한 내부자의 경고다.