Anthropic × Mozilla 공동 연구
LLM이 실제 보안 연구자 역할 수행 가능성

대형언어모델(LLM)이 소프트웨어 보안 취약점을 탐지하는 능력을 보여주면서 사이버 보안 산업의 구조 변화 가능성이 제기되고 있다. 최근 Anthropic과 Mozilla가 진행한 공동 연구는 AI가 실제 보안 연구자 역할을 수행할 수 있는 단계에 들어섰음을 보여주는 사례로 주목된다.

연구에 따르면 Anthropic의 최신 모델 Claude Opus 4.6은 단 2주 동안 Mozilla Firefox 코드에서 22개의 보안 취약점을 발견했다. 이 가운데 14개는 고위험(high-severity) 취약점으로 분류됐다. 이는 2025년 한 해 동안 Firefox에서 수정된 고위험 취약점의 약 20%에 해당하는 규모다. 연구진은 이러한 결과가 AI가 단순한 코드 보조 도구를 넘어 실제 보안 연구자로 활용될 수 있음을 시사한다고 평가했다.

[메타X(MetaX)]AI가 찾는 보안 취약점…사이버 보안 게임체인저 되나

연구팀은 실험 대상으로 Firefox를 선택했다. Firefox는 수백만 줄의 코드로 구성된 복잡한 구조를 갖고 있으며 수억 명의 이용자가 사용하는 글로벌 브라우저다. 또한 오랜 기간 보안 검증이 이루어진 프로젝트라는 점에서 테스트 대상의 신뢰성이 높다. 웹 브라우저는 인터넷에서 신뢰할 수 없는 코드와 콘텐츠를 실행하는 환경이기 때문에 취약점의 위험도가 특히 높다.

연구진은 먼저 과거 Firefox 취약점(CVE)을 재현하는 실험을 진행했다. 그 결과 Claude 모델은 인간 연구자가 과거에 발견했던 취약점 상당수를 재현하는 데 성공했다. 그러나 연구팀은 모델이 학습 데이터에서 해당 취약점을 이미 알고 있었을 가능성을 배제하기 위해 최신 Firefox 코드에서 새로운 취약점을 찾는 실험을 진행했다.

이 실험에서 AI는 약 20분 만에 첫 취약점을 발견했다. 해당 문제는 Firefox의 자바스크립트 엔진에서 발생하는 ‘Use-After-Free’ 유형의 메모리 오류였다. 이 취약점은 공격자가 프로그램 메모리를 조작할 수 있는 가능성을 열어주는 위험한 보안 결함으로 알려져 있다.

Anthropic 연구진은 발견된 취약점을 가상 환경에서 검증하고 내부 보안 연구자 두 명의 추가 검증을 거친 뒤 Mozilla의 버그 추적 시스템인 Bugzilla에 보고했다. 하지만 연구팀이 취약점을 검증하는 동안 Claude 모델은 이미 50개 이상의 추가 충돌 입력(crashing inputs)을 발견한 것으로 나타났다.

최종적으로 연구팀은 약 6,000개의 C++ 파일을 분석해 총 112개의 버그 리포트를 제출했다. 이 가운데 상당수는 Firefox 148 버전에서 이미 수정됐으며, 나머지 취약점도 향후 업데이트에서 해결될 예정이다.

연구진은 AI가 취약점을 발견하는 능력과 실제 공격 능력 사이에는 차이가 있다고 분석했다. Claude에게 발견된 취약점을 이용해 실제 공격 코드인 익스플로잇(exploit)을 생성하도록 요청한 결과, 수백 번의 실험 가운데 단 두 번만 공격이 성공했다. 이는 현재 AI가 공격 수행보다 취약점 탐지에 훨씬 강점을 보이고 있음을 의미한다.

연구팀은 약 4,000달러의 API 비용으로 이러한 실험을 수행했다. 이는 AI가 상대적으로 낮은 비용으로 대규모 취약점 탐지 작업을 수행할 수 있음을 보여주는 사례다.

이번 연구는 사이버 보안 산업에 세 가지 구조적 변화를 예고한다. 첫째, 취약점 발견 속도의 급격한 증가다. 과거에는 숙련된 보안 연구자가 장기간 분석을 통해 취약점을 찾아야 했지만, AI는 수천 개의 파일을 동시에 분석하고 자동 테스트를 반복할 수 있다.

둘째, 현재 기술 수준에서는 방어자가 유리한 상황이 형성되고 있다는 점이다. AI는 취약점을 찾는 능력이 공격 능력보다 앞서 있기 때문에 개발자가 취약점을 먼저 발견하고 수정할 수 있는 ‘방어자의 창(defender’s window)’이 존재한다는 분석이다.

셋째, AI 기반 자동 패치 시대의 가능성이다. 연구팀은 취약점 발견과 수정 코드 작성, 테스트 검증까지 수행하는 ‘패칭 에이전트(patching agent)’ 개념을 제시했다. 특히 AI가 작성한 패치가 실제 취약점을 제거했는지, 프로그램 기능을 손상시키지 않았는지 자동으로 검증하는 ‘task verifier’ 시스템이 핵심 기술로 제시됐다.

다만 이러한 기술은 새로운 위험도 동시에 내포한다. 취약점 탐지 능력은 보안 연구자와 소프트웨어 기업에 도움이 될 수 있지만, 해커나 사이버 범죄 조직, 국가 해킹 조직에게도 동일하게 활용될 수 있기 때문이다. 연구진 역시 향후 언어모델이 공격 능력까지 강화될 경우 추가적인 안전 장치가 필요하다고 경고했다.

이번 연구는 AI가 이미 일부 영역에서 인간 연구자를 능가하는 보안 취약점 탐지 능력을 보여주고 있음을 확인했다. 동시에 이 기술은 소프트웨어 보안과 사이버 전쟁, 디지털 인프라의 구조를 바꿀 수 있는 양면성을 갖고 있다.

결국 중요한 질문은 하나다. AI가 보안 연구자의 강력한 도구가 될 것인지, 아니면 새로운 해킹 도구가 될 것인지다. 그 답은 기술 자체보다 그것을 누가, 어떻게 활용하느냐에 달려 있다.

[ⓒ META-X. 무단전재-재배포 금지]