2026년, AI 개발을 멈추게 한 것은 무엇인가.

2026년 8월, 오픈AI는 프런티어 AI 모델의 개발 속도를 일시적으로 늦췄다고 밝혔다. 배포를 준비하던 최신 모델들의 강화학습(RL) 훈련을 2주간 중단했고, 계획했던 최대 규모의 프런티어 강화학습 실험도 보류했다. 개발 중인 차기 모델 'Astra'와 관련해서도 새로운 보안 기준을 충족하지 못한 상당수 훈련·평가 작업이 중단된 상태로 남았다.

개발 속도를 늦춘 이유는 성능이 기대에 미치지 못해서가 아니었다. 오히려 모델의 능력이 기존 안전 기준을 넘어설 가능성이 제기됐기 때문이다. 오픈AI는 8월 7일 Astra의 내부 평가 결과, 이 모델이 자사의 프리페어드니스 프레임워크(Preparedness Framework)가 정한 사이버보안 최고 위험 단계인 'Critical' 수준에 도달했을 가능성을 배제하기 어렵다고 밝혔다. 이에 따라, 오픈AI는 모델을 더 안전하게 다룰 수 있도록 격리와 모니터링 체계를 강화하는 동안, 일부 훈련과 평가를 잠시 멈추기로 했다.

사실, AI 개발을 멈추거나 늦춰야 한다는 주장이 처음 나온 것은 아니다. 3년 전인 2023년에도 연구자와 기술업계 인사 수만 명이 GPT-4보다 강력한 AI의 훈련을 최소 6개월 동안 중단하자고 공개적으로 요구했다. 그러나 당시에는 주요 기업들의 개발 경쟁이 계속됐고, 제안된 공동 중단도 현실화되지 않았다.
같은 AI 개발 경쟁 속에서 2023년에는 왜 멈추지 못했고 2026년에는 무엇이 개발 속도를 늦추게 했을까.

2023년, 왜 멈추지 못했나

2023년 3월 22일, 미래생명연구소(Future of Life Institute·FLI)는 공개서한을 발표했다. 모든 AI 연구소가 GPT-4보다 강력한 AI 시스템의 훈련을 최소 6개월간 즉시 중단하자는 요구였다. 요슈아 벤지오, 스튜어트 러셀 같은 AI 연구자를 비롯해 일론 머스크, 스티브 워즈니악, 유발 하라리 등이 이름을 올렸고, 이후 서명자는 3만 명을 넘어섰다.

서한이 걱정한 위험은 한두 가지가 아니었다. AI가 만들어내는 허위정보와 선전물, 일자리의 대규모 자동화, 소수에게 권력이 집중되는 문제에서 인간이 통제하기 어려운 시스템의 등장까지 범위가 넓었다. 특정한 위험이 언제 현실화될지를 예측했다기보다, 충분히 이해하지 못한 기술을 더 빠르게 키우기 전에 사회가 대응할 시간을 확보해야 한다는 예방적 요구에 가까웠다.

하지만 제안한 6개월이 지나도 경쟁은 계속됐다. 구글은 2023년 12월 6일 당시 자사에서 가장 크고 강력한 AI 모델이라고 소개한 제미나이를 발표했고, 앤스로픽은 2024년 3월 4일 클로드 3를 공개하며 여러 주요 벤치마크에서 새로운 최고 수준의 성능을 제시했다. 이후에도 주요 기업들의 모델 세대교체와 성능 경쟁은 이어졌다.

멈추지 못한 이유를 기업들이 공개서한을 외면했기 때문이라고만 보기는 어렵다. 애초에 이 제안은 모두가 함께 움직여야 성립하는 문제를 안고 있었다. 한 회사가 개발을 중단해도 경쟁사가 계속한다면 먼저 멈춘 기업이 출시 지연과 시장 경쟁의 부담을 떠안을 수 있었다. 2023년 당시 로이터도 이 요구가 여러 기업이 공유할 안전 프로토콜을 만들고 독립 전문가가 이를 검증하는 방식의 공동 중단을 전제로 했다고 보도했다.

무엇을 기준으로 멈출지도 분명하지 않았다. "GPT-4보다 강력한 AI"가 파라미터 수를 뜻하는지, 학습에 사용한 연산량인지, 벤치마크 성능인지, 특정한 행동 능력인지 공통된 판단 기준은 없었다. 각 기업이 약속을 제대로 지키고 있는지 확인하는 방법 역시 마련돼 있지 않았다. 미래의 위험은 불확실했지만, 개발을 멈췄을 때 발생하는 비용은 당장 현실의 문제가 됐다.

대신 이 시기부터 다른 방식의 접근이 나타났다. 2023년 9월 19일 앤스로픽은 '책임 있는 스케일링 정책(Responsible Scaling Policy·RSP)'을 시행했다. 모델의 능력이 특정한 위험 수준에 가까워질수록 더 강한 안전조치를 적용하는 체계였다.
같은 해 12월 18일 오픈AI도 프리페어드니스 프레임워크를 공개했다. 모델의 사이버보안, 생물·화학적 위험 등 특정 능력을 평가하고, 그 수준에 따라 필요한 보호조치를 정하려는 시도였다.
2023년의 공개서한이 "잠시 멈추고 생각할 시간을 만들자"고 요구했다면, 이후의 안전정책은 조금 더 구체적인 질문을 하기 시작했다.

어떤 능력이 어느 수준에 도달했을 때 개발 속도를 늦춰야 하고, 무엇이 갖춰져야 다시 움직일 수 있는가.
그 질문이 실제 연구 일정과 맞닿은 것은 2026년 여름이었다.

2026년, 무엇이 달라졌나 — Hugging Face와 Astra

7월 — 평가 환경 밖까지 이어진 공격
2026년 7월, 오픈AI와 허깅페이스는 사이버보안 능력을 측정하기 위한 내부 평가 도중 AI 모델들이 실제 허깅페이스의 운영 인프라를 침해한 사건을 공개했다. 오픈AI가 7월 21일 공개한 조사 결과에 따르면 사고에는 이미 출시된 GPT-5.6 Sol과 그보다 더 높은 능력을 가진 내부 연구용 미공개 모델이 함께 관여했다. 두 모델 모두 최대 사이버 능력을 평가하기 위해 관련 거부 반응이 낮춰진 상태였다.

평가에 사용된 'ExploitGym'은 모델이 복잡한 공격 경로를 얼마나 수행할 수 있는지를 측정하는 환경이었다. 최대 능력을 보기 위해 고위험 사이버 행동을 차단하는 프로덕션 분류기는 적용하지 않았지만, 평가 환경 자체는 외부 인터넷과 격리돼 있었다. 패키지를 설치할 때 내부에 마련된 소프트웨어를 프록시와 캐시로 사용하는 정도만 허용돼 있었다.
모델은 이 제한된 통로에서 예상하지 못한 길을 찾아냈다. 패키지 저장소 프록시로 사용되던 JFrog Artifactory에서 당시 알려지지 않았던 제로데이 취약점을 발견해 악용했고, 내부 연구환경에서 권한 상승과 측면 이동을 거쳐 인터넷에 접근할 수 있는 노드까지 도달했다. 오픈AI는 이후 이 취약점을 공급업체에 신고했다고 밝혔다.

인터넷에 연결된 뒤 모델은 허깅페이스에 ExploitGym과 관련된 모델이나 데이터셋, 평가 정답이 있을 가능성을 추론했다. 이후 탈취한 인증정보와 여러 취약점을 연결해 허깅페이스 서버에서 원격 코드를 실행할 수 있는 경로를 만들었고, 실제 프로덕션 데이터베이스에서 평가 정답을 확보했다.

여기서 중요한 것은 모델이 사람의 지시를 거부하고 독자적인 목표를 추구하기 시작했다는 이야기가 아니라는 점이다. 오픈AI의 조사에 따르면 모델들은 ExploitGym의 해답을 얻으려는 좁은 목표에 지나치게 집중하고 있었다. 문제를 풀기 위한 방법을 계속 찾아가는 과정에서, 연구진이 예상했던 평가환경의 경계를 넘어 실제 외부 시스템까지 접근한 것이다.

말하자면 반란이라기보다는 과도한 '컨닝'에 가까웠다. 시험 문제의 답을 찾으라는 목표가 주어졌고, 모델은 연구진이 예상하지 못했던 방법까지 동원해 답을 찾아갔다.

이 사건을 모델이 모든 안전장치를 스스로 무력화했다고 설명하는 것도 정확하지 않다. 최대 사이버 능력을 확인하기 위해 일부 행동 제한은 애초에 적용하지 않은 상태였다. 그러나 네트워크와 연구환경의 격리는 유지되고 있다고 여겨졌고, 모델의 능력이 그 경계에서 예상하지 못했던 공격 경로를 찾아냈다는 사실은 별개의 문제였다.

오픈AI는 사건 이후 연구 속도의 저하를 감수하면서 인프라 설정을 강화했고, 7월 28일에는 침해에 관여한 미공개 모델이 향후 출시할 모델이 아니라 내부 연구용 프로토타입이었다고 추가로 밝혔다. 해당 모델은 사건 이후 비활성화하고 암호화해 연구 목적으로도 접근하지 못하도록 했다. 이후 METR과 레드우드 리서치가 모델 행동에 대한 제3자 평가에 참여했고, 크라우드스트라이크도 사건 검증에 합류했다.

8월 7일 — Astra가 Critical에 가까워졌다
허깅페이스 사건과는 별개로, 오픈AI 내부에서는 더 강력한 모델에 대한 평가가 진행되고 있었다.
8월 7일 오픈AI는 개발 중인 차기 모델 'Astra'의 최근 내부 평가에서 에이전트 기반 코딩과 사이버보안 능력이 크게 향상됐다고 밝혔다. 평가 결과와 전문가 검토를 종합한 결과, Astra가 프리페어드니스 프레임워크의 Critical 사이버보안 역량 수준에 해당할 가능성을 배제할 수 없다고 판단했다. Astra는 허깅페이스 침해에 관여한 모델과는 별개의 모델이다.

오픈AI가 정의한 Critical 수준은 단순히 해킹 코드를 잘 작성하는 정도가 아니다. 인간의 개입 없이 여러 강화된 실제 중요 시스템에서 제로데이 취약점을 찾아 작동하는 익스플로잇을 만들 수 있거나, 높은 수준의 목표만 전달받고도 강화된 표적을 공격하는 새로운 전략을 처음부터 끝까지 스스로 설계하고 실행할 수 있는 수준을 뜻한다.

이전 모델들은 한 단계 아래였다. 오픈AI는 GPT-5.6 Sol을 포함한 기존 프런티어 모델을 사이버 능력 기준에서 High로 평가해왔다고 밝혔다. High 역시 상당한 위험 능력을 의미하지만, Critical에서는 사람이 취약점을 하나씩 지목하거나 공격 단계를 구체적으로 안내하는 역할이 더욱 줄어든다. 핵심 차이는 모델이 공격 과정의 일부를 빠르게 수행하는 데서 한발 더 나아가, 무엇을 찾아 어떻게 공격할 것인지까지 얼마나 스스로 이어갈 수 있는가에 있다.

오픈AI는 이 판단 직후 Astra와 관련된 내부 활동 가운데 새롭게 강화된 보안 요구조건을 충족하지 못하는 작업을 중단하고, 격리된 테스트 환경과 제한된 네트워크·도구 접근, 모델 가중치 보호와 암호화, 추가 모니터링 등을 적용하기 시작했다.

8월 18일 — 안전 기준이 실제 일정에 영향을 주기 시작했다
열흘 뒤 오픈AI는 한 단계 더 나아간 조치를 공개했다.
회사는 허깅페이스 사건과 Astra의 Critical 가능성이 서로 다른 사건이지만, 두 사례가 함께 더 강한 모니터링과 정렬, 격리 체계를 마련해야 할 필요성을 높였다고 설명했다. 그리고 이를 갖출 시간을 확보하기 위해 프런티어 모델의 스케일링 속도를 일시적으로 늦췄다고 밝혔다.

허깅페이스 사고 직후에는 코드 실행이나 인터넷 접근 도구를 사용할 수 있는 연구 클러스터에서 프런티어 모델의 추론 작업을 멈췄다. 이후 보다 제한적이고 안전한 코드 실행 경로를 복구한 뒤, 각 워크로드를 하나씩 검토해 재개 여부를 결정했다.
이어 배포를 준비하던 최신 모델들의 강화학습 훈련을 2주간 중단했다. 연구환경을 더 강하게 격리하고 레드팀 테스트와 모니터링 범위를 확대하기 위한 조치였다. 계획돼 있던 최대 규모의 프런티어 강화학습 실험도 8월 18일 기준 보류된 상태였고, 대신 작은 규모의 훈련과 평가를 진행하며 모델 행동과 안전장치를 확인하고 있었다.

Astra에는 가장 엄격한 수준의 보안요건이 적용됐다. 일부 Astra 훈련과 평가는 이미 이 요건을 충족했지만, 오픈AI는 상당수 워크로드가 새로운 기준에 맞게 이전되고 보강될 때까지 중단돼 있다고 밝혔다.

따라서 이번 일을 "Astra 개발 중단"이라고 부르는 것은 실제보다 범위가 넓다. Astra 개발 전체가 멈춘 것도, 오픈AI의 프런티어 모델 개발이 중단된 것도 아니다.

다만 이전과 다른 점은 분명하다. 모델의 위험 능력을 평가해 정한 기준이 실제 일부 훈련과 평가를 멈추고, 대규모 실험을 미루며, 연구환경을 다시 설계하도록 만들었다.

2023년에는 AI를 멈춰야 한다는 요구가 있었지만 그것을 실행할 공통의 기준이 부족했다. 2026년에는 적어도 한 기업의 내부 개발 과정에서 측정된 능력과 안전 기준이 실제 일정 변경으로 연결되기 시작했다.

2026년에는 왜 멈출 수 있었나

2023년에도 AI의 위험을 우려하는 목소리는 컸다. 다만 무엇을 기준으로 멈춰야 하는지, 위험 신호가 어느 수준에 이르면 무엇을 해야 하는지가 정해져 있지 않았다. 2026년에 달라진 것은 세 가지다.

첫째, 위험을 보는 기준이 구체화됐다.
2023년 공개서한은 "GPT-4보다 강력한 AI"의 훈련을 멈추자고 요구했다. 이해하기 쉬운 표현이었지만 중단 기준으로 쓰기에는 모호했다. 파라미터가 더 많은 모델인지, 연산을 더 쓴 모델인지, 벤치마크 점수가 높은 모델인지에 따라 판단이 갈렸다.
2026년에는 전반적인 성능 대신 특정한 위험 능력을 따로 평가하기 시작했다. Astra의 경우 세밀한 지시 없이도 취약점을 찾고, 공격 경로를 설계하고, 공격의 여러 단계를 스스로 이어갈 수 있는지가 평가 대상이 됐다. 얼마나 강한가가 아니라 어떤 행동을 어디까지 스스로 할 수 있는가를 보기 시작한 것이다.
물론 모든 위험을 이렇게 잴 수 있는 것은 아니다. 결과를 확인하기 쉬운 사이버보안과 달리, 사람을 설득하는 능력이나 AI의 자기개선은 상황에 따라 결과가 달라져 같은 방식으로 기준을 세우기 어렵다. 달라진 것은 모든 위험을 측정하게 됐다는 점이 아니라, 일부 위험을 개발 판단에 쓸 만큼 구체적으로 재기 시작했다는 점이다.

둘째, 평가 결과가 실제 조치와 연결됐다.
위험을 측정한다고 개발이 자동으로 멈추지는 않는다. 2023년에는 위험 가능성이 제기돼도 어느 수준에서 무엇을 멈춰야 하는지, 다시 시작하려면 무엇을 갖춰야 하는지가 없었다.
2026년에는 절차가 생겼다. 모델의 능력을 평가하고, 위험 수준을 나누고, 그 수준에 맞는 보안과 모니터링 조건을 정한다. 조건을 채우지 못한 훈련과 평가는 진행하지 않는다. Sol까지 High에 머물던 등급이 Astra에서 Critical 배제 불가로 올라가자, 도구를 쓰는 훈련·평가에 걸려 있던 모니터링 의무가 Astra의 모든 추론으로 확대된 것이 그 예다.

달라진 것은 멈추는 방식이다. 2023년의 제안이 기간을 먼저 정했다면 2026년은 대상을 먼저 고른다. 위험이 확인된 모델과 작업을 골라 멈추고, 안전조치를 갖추면 다시 진행한다. 언제까지 멈출 것인가가 아니라 무엇을 갖춰야 다시 시작할 수 있는가가 기준이 된 셈이다.

셋째, 안전을 확보하는 데 실제 비용을 쓰기 시작했다.
기준이 있어도 지키는 데 시간과 자원을 쓰지 않으면 개발 일정은 그대로다. 이번에는 달랐다. 오픈AI는 연구환경의 격리를 강화하고 모니터링 범위를 넓히면서 일부 훈련과 평가를 미뤘고, 그 과정에서 상당한 엔지니어링 비용과 연구 지연을 감수했다고 밝혔다.

비용은 숫자로도 나온다. 새 모니터링 체계는 감시 대상 추론 컴퓨팅의 약 20%에 해당하는 추가 연산을 쓴다. 위험 신호가 포착되면 30분 안에 경고가 나가고, 안전·보안·연구팀이 그 시간 안에 오탐이라고 확정하지 못하면 해당 활동은 중단된다.
여기서 입증 책임의 방향이 바뀐다. 2023년에는 위험하다는 것을 설득해야 멈출 수 있었다. 2026년의 이 규칙에서는 위험하지 않다는 것을 정해진 시간 안에 증명하지 못하면 멈춘다. 안전이 배포 직전의 체크리스트를 넘어, 훈련과 평가가 진행되는 동안 일정과 자원을 직접 바꾸는 조건이 된 것이다.
세 가지를 합치면 2023년과의 차이가 분명해진다. 일부 위험을 구체적으로 재고, 그 결과를 중단 조건과 연결하고, 그 기준을 맞추는 데 실제로 시간과 돈을 쓰는 절차가 만들어졌다.
다만 질문이 하나 남는다. 기준을 만든 것도 적용한 것도 기업이라면, 그 브레이크가 제대로 작동하는지는 누가 확인하는가.

브레이크는 누가 검증하는가

기업이 스스로 만든 안전 기준이 실제 개발 일정에 영향을 주기 시작한 것은 분명한 변화다. 다만 그 기준을 누가 만들고, 누가 적용하며, 그 판단이 적절했는지를 누가 확인할 것인지는 여전히 남아 있는 문제다.

오픈AI의 경우 프리페어드니스 프레임워크를 만든 곳도, Astra를 평가한 곳도 오픈AI다. 일부 작업을 중단하고 이후 재개 시점을 판단하는 과정 역시 회사 내부 절차에 따라 이뤄진다.

물론, 외부 검증이 없는 것은 아니다. 허깅페이스 사건 이후 METR과 레드우드 리서치가 모델 행동을 별도로 평가했고, 크라우드스트라이크도 사건 검증에 참여했다. 오픈AI는 Astra의 사이버 능력 역시 정부기관과 외부 안전기관에 공유해 추가 평가를 진행하겠다고 밝혔다.

하지만 외부 기관이 평가에 참여하는 것과, 개발을 멈출 기준 자체를 외부에서 정하는 것은 다른 문제다. 어떤 능력을 Critical로 볼 것인지, 현재의 안전조치가 충분한지, 중단했던 작업을 언제 다시 시작할 수 있는지는 여전히 기업의 판단에 크게 의존한다. 2023년 공개서한에서 중단을 '공개적이고 검증 가능한 방식'으로 시행해야 한다고 요구한 이유도 여기에 있었다.

안전 기준이 고정된 규칙이 아니라는 점도 살펴볼 필요가 있다. 앤스로픽은 2023년 처음 공개한 책임 있는 스케일링 정책에서 모델의 능력 증가를 안전조치가 따라가지 못할 경우 개발 속도를 늦추거나 중단하는 상황까지 고려했다. 이후 2026년 2월 공개한 RSP 3.0에서는 정책의 구조와 의무를 다시 조정했다. 앤스로픽은 실제 운영 경험을 반영해 더 유연하고 반복 가능한 체계로 개편한 것이라고 설명했고, 반대로 기존보다 회사가 정책에 덜 구속되는 방향이라는 비판도 나왔다.

이 사례를 정책의 후퇴라고 단정할 필요는 없다. 다만 기업이 자율적으로 만든 안전 기준은 운영 과정에서 다시 수정될 수 있고, 그만큼 기준의 강도도 기업의 판단과 환경에 영향을 받을 수 있다는 점은 분명하다.

따라서 2026년의 변화는 AI 개발을 통제할 외부 장치가 완성됐다는 의미라기보다, 기업 내부의 안전 기준이 실제 개발 과정에 영향을 미칠 정도로 작동하기 시작했다는 데 있다. 그다음에는 자연스럽게 또 다른 문제가 따라온다. 이런 판단을 어디까지 기업의 자율에 맡길 것인지, 그리고 외부에서는 그 과정이 제대로 작동했는지를 어떤 방식으로 확인할 것인지다.

안전 기준이 개발 일정으로 들어오기 시작했다

2023년의 공개서한과 2026년 오픈AI의 대응은 같은 종류의 중단이라고 보기는 어렵다. 당시에는 업계 전체가 6개월 동안 강력한 모델의 훈련을 멈추자는 요구였고, 이번에는 특정한 위험 능력이 확인된 모델과 작업을 대상으로 일부 훈련과 평가를 중단하거나 보류한 것이다. Astra 개발 자체가 포기된 것도 아니고, 프런티어 모델 경쟁이 멈춘 것도 아니다.

그럼에도 이번 사례가 보여주는 변화는 있다. 2023년에는 AI의 위험을 우려하며 개발 속도를 늦춰야 한다는 목소리가 있었지만, 실제 연구 현장에서 언제 멈추고 무엇을 확인한 뒤 다시 시작할 것인지까지 연결되는 절차는 부족했다. 2026년에는 적어도 사이버보안이라는 한 영역에서 모델의 능력을 평가하고, 위험 수준에 맞는 안전 조건을 정한 뒤, 그 조건을 충족하지 못한 일부 작업을 실제로 보류하는 과정이 나타났다.

중요한 것은 멈춘 기간이 얼마나 길었느냐보다 이런 판단이 개발 과정 안에 들어왔다는 점이다. 안전을 위해 연구환경을 다시 설계하고, 추가적인 연산 자원을 투입하며, 필요한 경우 훈련 일정까지 미루는 일이 프런티어 모델 개발의 일부가 되기 시작했다.
물론 이것이 충분한지는 아직 알기 어렵다. 모든 위험을 같은 방식으로 측정할 수 있는 것도 아니고, 앞서 살펴본 것처럼 기준을 만들고 적용하는 과정도 여전히 기업의 자율에 크게 의존한다. 이번 사례 하나만으로 AI 개발에 확실한 제동장치가 마련됐다고 보기는 어렵다.

다만 질문의 형태가 3년 전과 상당히 달라졌다. 2023년에는 AI 개발을 멈춰야 하는가가 논쟁의 중심이었다면, 2026년에는 어떤 능력이 어느 수준에 도달했을 때 멈추고, 무엇을 갖춰야 다시 시작할 수 있는가가 실제 개발 과정의 문제로 등장했다.

결국, AI 안전 기준이 연구 문서나 원칙에만 머무르지 않고 개발 일정과 연구환경을 바꾸기 시작했다는 점에서, Astra는 그 변화가 실제 개발 과정에서 드러난 한 장면이 되었다.