AI가 내놓은 답변, 정말 그 AI가 작성했는지 증명할 수 있을까

우리가 인공지능(AI)에게 질문할 때 한 가지 사실을 당연하게 받아들인다.

화면에 표시된 AI 모델이 실제로 답변을 생성했을 것이라는 믿음이다.

최신 AI 모델을 선택하고 질문을 입력하면 해당 모델이 답변을 만들어낸다고 생각한다. 기업이 특정 모델을 사용한다고 설명하면 그 말을 신뢰한다.

그런데 우리가 선택한 모델과 실제 답변을 생성한 모델이 다르다면 어떻게 될까.

유료로 제공되는 고성능 AI 모델 대신 비용이 저렴한 모델이 사용됐을 수도 있다. 여러 AI 모델을 연결하는 중개 서비스가 이용자에게 알리지 않고 요청을 다른 모델로 전달할 가능성도 있다.

서버를 침해한 공격자가 답변을 변조했을 수도 있다.

문제는 답변만 읽어서는 이러한 차이를 확실하게 구분하기 어렵다는 사실이다.

그럴듯하고 정확해 보이는 답변이라고 해서 반드시 약속된 모델에서 생성됐다는 보장은 없다.

AI 기업 Anthropic이 이 문제에 대한 새로운 기술적 접근을 공개했다.

Anthropic은 2026년 11월 2일 'Progress on provable inference for large language models'라는 연구를 발표하고, 대규모 언어모델의 추론 결과를 암호학적으로 검증하는 시스템 'FlashProve'를 공개했다.

핵심은 AI 모델의 내부 구조를 모두 확인하거나 모델을 다시 실행하지 않고도 특정 답변이 약속된 모델의 계산 결과와 일치한다는 사실을 검증하는 것이다.

이를 위해 활용한 기술은 영지식증명(Zero-Knowledge Proof) 계열의 zkSNARK다.

연구진은 매개변수 4,000억 개 규모의 Llama 4 Maverick을 대상으로 실제 작동하는 시제품을 구현했다.

더욱 주목할 부분은 이번 연구가 Anthropic의 AI 모델 Claude를 활용해 암호학적 증명 시스템의 성능을 개선했다는 점이다.

AI가 자신의 답변을 증명하는 기술의 개발에도 기여한 셈이다.

그러나 이번 연구가 보여주는 의미는 단순한 암호학적 성능 향상에 그치지 않는다.

AI 서비스의 신뢰를 제공 기업의 설명과 평판에만 의존하지 않고, 외부에서 검증할 수 있는 기술적 증거로 뒷받침하려는 시도가 구체화됐다는 점이다.

AI 모델의 이름을 믿는 것과 실제 모델을 확인하는 것은 다르다

현재 AI 서비스 이용자는 다양한 모델 가운데 하나를 선택할 수 있다.

개인 이용자는 원하는 챗봇과 모델을 고른다. 기업은 AI 모델의 성능과 가격을 비교한 뒤 특정 공급업체와 계약한다.

개발자는 API를 이용해 외부 모델을 자신의 서비스에 연결한다.

하지만 실제로 어떤 모델이 실행됐는지 독립적으로 확인하는 일은 쉽지 않다.

대부분의 이용자는 AI 서비스가 보여주는 모델 이름과 제공 기업의 안내를 신뢰한다.

물론 정상적인 서비스 제공자라면 계약에 따라 지정된 모델을 실행해야 한다.

그러나 문제가 발생할 가능성 자체가 사라지는 것은 아니다.

가령 기업이 고가의 AI 모델을 사용하는 조건으로 서비스를 구매했다고 가정해 보자.

중개 서비스가 실제로는 저렴한 모델을 실행하고 동일한 이용료를 청구한다면 고객이 이를 확인하기 어려울 수 있다.

AI 모델의 출력은 질문과 실행 조건에 따라 달라진다.

따라서 특정 답변이 평소보다 짧거나 품질이 낮다는 이유만으로 다른 모델이 실행됐다고 단정할 수 없다.

반대로 품질이 높은 답변이 나왔다고 해서 약속된 모델에서 생성됐다고 입증할 수도 없다.

AI의 성능을 평가하는 문제와 AI의 정체성을 확인하는 문제는 다르다.

Anthropic은 이번 연구에서 후자에 주목했다.

사용자가 요청한 모델이 실제로 계산을 수행했는지 확인하는 기술이다.

AI에게도 디지털 신분증이 필요할까

Anthropic은 연구를 설명하면서 사람과의 대화를 예로 들었다.

친구를 직접 만나 이야기할 때는 상대방의 얼굴과 목소리, 행동을 통해 누구인지 확인할 수 있다.

그러나 AI 서비스에서는 그러한 확인 수단이 거의 없다.

이용자는 화면에 표시된 이름을 보고 어떤 AI와 대화하는지 판단한다.

FlashProve는 이러한 문제를 암호학적 방식으로 해결하려 한다.

개념은 비교적 간단하다.

AI 서비스 제공자가 먼저 사용할 모델을 특정해 공개적으로 약속한다.

그리고 해당 모델이 생성했다고 주장하는 답변에 대해 별도의 증명서를 만든다.

이용자는 그 증명서를 검증해 답변이 약속된 모델의 계산과 일치하는지 확인한다.

중요한 것은 이용자가 AI 모델의 전체 매개변수를 가지고 있을 필요가 없다는 점이다.

매개변수는 모델이 학습을 통해 획득한 수많은 수치다.

대규모 모델은 이러한 수치가 수천억 개에 달할 수 있다.

일반 이용자가 모든 매개변수를 내려받아 직접 계산을 반복하는 것은 현실적으로 어렵다.

특히 상용 AI 기업은 모델의 내부 가중치를 영업비밀로 보호하는 경우가 많다.

FlashProve는 바로 이 문제를 겨냥한다.

모델의 내부 가중치를 공개하지 않으면서도 계산 결과가 약속된 모델에서 나왔다는 사실을 검증할 수 있도록 하는 것이다.

영지식증명은 무엇인가

영지식증명은 어떤 비밀을 직접 공개하지 않고도 특정 주장이 참이라는 사실을 상대방에게 증명하는 암호학적 기술이다.

예를 들어 비밀번호 자체를 알려주지 않으면서 올바른 비밀번호를 알고 있다는 사실을 증명하는 개념을 생각할 수 있다.

상대방은 비밀 내용을 알 필요가 없다.

다만 증명이 유효한지만 확인한다.

Anthropic이 활용한 zkSNARK는 이러한 영지식증명을 간결하고 효율적으로 검증할 수 있도록 설계한 암호학적 증명 체계다.

여기서 중요한 특징은 두 가지다.

첫 번째는 비밀 유지다.

검증자가 증명서를 확인하더라도 모델의 가중치를 알 수 없어야 한다.

두 번째는 검증 효율성이다.

AI 모델의 복잡한 계산을 직접 다시 수행하는 것보다 적은 자원으로 증명의 유효성을 확인할 수 있어야 한다.

이 기술은 블록체인 분야에서도 활용돼 왔다.

하지만 대규모 언어모델에 적용하기는 쉽지 않았다.

언어모델의 계산량이 매우 크기 때문이다.

수천억 개의 매개변수를 가진 모델이 수행한 연산을 암호학적으로 증명하려면 막대한 계산이 필요하다.

Anthropic은 이번 연구를 통해 이러한 증명 비용을 낮추는 데 진전이 있었다고 설명했다.

FlashProve는 어떻게 작동하나

FlashProve는 크게 두 단계로 구성된다.

첫 번째는 모델에 대한 사전 약속 단계다.

AI 서비스 제공자는 사용할 모델의 가중치에 대한 암호학적 커밋먼트(Commitment)를 만든다.

커밋먼트는 특정한 값을 미리 고정해 두는 암호학적 장치다.

쉽게 설명하면 모델의 가중치를 공개하지 않으면서도 어떤 모델을 사용하겠다고 약속했는지 나중에 확인할 수 있게 하는 일종의 지문이다.

두 번째는 추론 결과의 검증 단계다.

AI가 질문에 대한 출력을 생성한 뒤, 제공자는 해당 출력이 사전에 약속한 모델의 계산과 일치한다는 증명서를 생성한다.

검증자는 커밋먼트와 입력, 출력, 증명서를 이용해 계산의 유효성을 확인한다.

여기서 중요한 사실은 검증자가 AI 모델을 직접 실행하지 않는다는 점이다.

모델의 내부 가중치를 받지도 않는다.

대신 암호학적 증명을 확인한다.

이는 AI 서비스 제공자와 이용자 사이의 정보 비대칭을 줄이는 방법이 될 수 있다.

기존에는 제공자가 어떤 모델을 사용했는지 설명하면 이용자는 이를 신뢰해야 했다.

FlashProve와 같은 기술이 상용화된다면 이용자는 설명에 더해 검증 가능한 증거를 요구할 수 있게 된다.

4,000억 매개변수 모델을 실제로 검증했다

이번 연구에서 Anthropic은 Meta의 Llama 4 Maverick을 사용했다.

Llama 4 Maverick은 매개변수 약 4,000억 개를 가진 전문가 혼합(Mixture-of-Experts·MoE) 구조의 언어모델이다.

MoE는 모델 전체의 매개변수를 모든 계산에 사용하는 대신, 입력에 따라 필요한 일부 전문가 네트워크만 활성화하는 방식이다.

이번 실험에서 토큰당 실제 사용되는 매개변수는 약 170억 개였다.

연구진은 이러한 특성을 활용했다.

매번 전체 4,000억 개 매개변수에 대한 동일한 계산을 증명하는 것이 아니라 실제로 사용된 전문가의 계산에 맞춰 증명 작업을 구성한 것이다.

이 방식은 증명 비용을 낮추는 데 도움이 된다.

실험에는 4비트로 양자화된 공개 모델 가중치를 사용했다.

양자화는 모델의 수치를 더 적은 비트로 표현해 메모리와 계산 자원 사용량을 줄이는 기술이다.

다만 이번 실험은 일반적인 모든 AI 모델의 출력을 그대로 증명한 것은 아니다.

정수 연산과 탐욕적 디코딩(Greedy Decoding)을 이용하는 특정 조건의 모델 계산을 대상으로 했다.

이는 후속 상용화 가능성을 평가할 때 중요한 제한이다.

초당 110개 토큰 증명, 얼마나 빠른가

Anthropic이 공개한 성능은 이전 연구보다 크게 개선됐다.

연구진은 단일 NVIDIA H100 GPU와 24개 CPU 코어를 이용해 FlashProve를 실행했다.

24개 요청을 한꺼번에 처리하는 배치에서 온라인 증명 생성에 약 223초가 걸렸다.

연구진이 보고한 처리량은 초당 약 110개 토큰이다.

개별 증명 파일의 크기는 약 18.78MB였다.

검증자는 GPU 없이 CPU만으로 해당 증명을 확인할 수 있었다.

24개 스레드를 사용하는 CPU에서는 약 17초, 단일 스레드에서는 약 21초가 걸렸다.

이 수치는 AI 모델 전체를 다시 실행하지 않고도 증명 결과를 확인할 수 있다는 점에서 의미가 있다.

그러나 숫자를 해석할 때 주의해야 한다.

초당 110개 토큰은 일반적인 챗봇이 1초에 110개 단어를 생성하면서 동시에 실시간 검증까지 완료했다는 의미가 아니다.

이번 실험은 1,024토큰의 입력 문맥을 대상으로 요청당 하나의 토큰을 검증했고, 여러 요청을 묶어 처리했다.

생성된 긴 답변 전체를 실시간으로 검증하는 성능을 측정한 것은 아니다.

또한 증명 생성에는 일반 추론보다 훨씬 많은 계산 자원이 필요했다.

일반 추론보다 70~95배 비싸다는 한계

FlashProve가 의미 있는 성과를 보여줬다고 해서 바로 모든 AI 서비스에 적용할 수 있는 것은 아니다.

가장 큰 문제는 비용이다.

Anthropic은 FlashProve의 증명 생성에 일반적인 모델 추론 대비 약 70~95배의 GPU 시간이 필요하다고 밝혔다.

이는 같은 모델의 일반 추론을 vLLM에서 실행했을 때와 비교한 수치다.

다만 비교 대상은 서로 다른 수치 표현과 실행 환경을 사용하므로 모든 상황에 동일한 배율이 적용된다고 볼 수는 없다.

그럼에도 증명 생성에 상당한 추가 비용이 발생한다는 사실은 분명하다.

AI 서비스를 운영하는 기업에는 이 비용이 중요하다.

매일 수백만 건의 요청을 처리하는 서비스라면 모든 출력에 증명서를 만드는 것은 막대한 부담이 될 수 있다.

특히 일반 소비자용 챗봇에서는 답변 속도와 이용요금이 중요한 요소다.

이러한 서비스가 현재 수준의 증명 비용을 모두 부담하기는 어려울 수 있다.

그러나 모든 AI 사용처에서 동일한 수준의 검증이 필요한 것은 아니다.

금융거래나 보안 감사, AI 모델의 독립 평가, 규제 준수와 관련된 업무에서는 검증 비용을 부담할 이유가 존재할 수 있다.

따라서 FlashProve의 초기 활용은 모든 대화의 실시간 검증보다 특정 고위험 작업이나 표본 추론 결과의 사후 검증에서 시작될 가능성이 있다.

이는 현재 시제품의 성능과 한계를 고려한 적용 가능성에 대한 분석이다.

왜 Anthropic은 답변을 생성한 뒤 증명하는 방식을 선택했나

FlashProve는 모델이 답변을 생성하는 순간에 모든 증명을 만드는 방식이 아니다.

연구진은 답변 생성이 끝난 뒤 추론 결과를 다시 계산해 증명하는 사후 검증(Post-hoc Proving) 방식을 선택했다.

이 방식은 여러 요청을 모아서 처리할 수 있다는 장점이 있다.

개별 요청마다 증명 작업을 수행하는 대신 배치 단위로 효율화할 수 있다.

또한 모델의 계산을 증명하는 과정에서 필요한 일부 작업을 공유할 수 있다.

하지만 단점도 존재한다.

답변을 받은 뒤 증명 결과가 제공될 수 있으므로 즉각적인 검증은 어렵다.

이미 실행된 계산을 다시 증명하는 작업이 필요하다.

계산 과정의 비결정성도 문제가 될 수 있다.

특히 실제 상용 언어모델은 다양한 수치 연산과 출력 선택 방식을 사용한다.

작은 수치 차이로도 특정 위치에서 선택되는 토큰이 달라질 수 있다.

따라서 연구실에서 증명한 계산과 실제 서비스에서 사용한 계산이 정확히 일치하는지 확인해야 한다.

Anthropic 역시 이러한 문제를 연구의 주요 한계로 제시했다.

Claude는 암호학 연구에 어떻게 참여했나

이번 연구에서 흥미로운 대목은 Claude의 역할이다.

Anthropic은 Claude가 암호학과 보안 분야의 기존 연구를 활용하고 최적화 방법을 개선하면서 FlashProve의 성능 향상에 기여했다고 밝혔다.

이는 AI가 다른 AI 시스템의 신뢰성을 높이기 위한 연구 도구로 활용됐다는 의미다.

다만 Claude가 암호학적 증명을 처음부터 독자적으로 발명했다고 이해해서는 안 된다.

연구진은 FlashProve가 이미 확립된 암호학적 설계 원칙과 기존 연구 성과를 기반으로 한다고 설명했다.

Claude는 그러한 기술을 조합하고 최적화하는 과정에 참여했다.

또한 AI가 복잡한 시스템의 최적화 결정을 내릴 수 있다는 사실과 그 결정이 안전하고 정확하다는 사실은 다르다.

연구진도 이 문제를 인식했다.

Claude가 만든 코드와 설계는 성능이 뛰어나더라도 검토하기 어려운 복잡성을 가질 수 있기 때문이다.

따라서 Anthropic은 결과를 단순히 신뢰하는 대신, 중요한 보안 속성을 수학적으로 확인하는 별도의 절차를 도입했다.

그 도구가 Lean이다.

AI가 작성한 암호학 코드를 어떻게 믿을 수 있나

Lean은 수학적 정리와 논리적 주장을 형식적으로 표현하고, 해당 증명이 올바른지 기계적으로 확인하는 데 사용하는 도구다.

Anthropic은 FlashProve의 핵심 보안 성질을 Lean으로 표현했다.

연구진이 검증하려는 성질은 완전성과 건전성, 영지식성이다.

완전성은 올바르게 생성한 증명이 검증을 통과해야 한다는 성질이다.

건전성은 거짓 주장에 대한 위조 증명이 검증을 통과하기 사실상 불가능해야 한다는 성질이다.

영지식성은 증명 과정에서 모델의 가중치와 같은 비밀정보가 노출되지 않아야 한다는 성질이다.

이러한 성질을 수학적으로 표현하면 단순한 테스트보다 강한 수준의 검토가 가능하다.

그러나 형식 검증이 모든 문제를 자동으로 해결하는 것은 아니다.

Anthropic은 연구에서 두 가지 중요한 간극을 인정했다.

첫째, 형식적으로 표현한 명제가 실제로 연구진이 의도한 보안 성질과 일치하는지 사람이 검토해야 한다.

둘째, 실제로 실행하는 프로그램이 형식적으로 검증한 프로토콜과 동일하게 작동하는지 확인해야 한다.

연구진은 Lean으로 구현한 검증기와 속도가 빠른 C++ 검증기를 함께 공개했다.

Lean 검증기는 형식적 보증을 제공하지만, 빠른 C++ 검증기에 동일한 형식적 보증이 직접 적용되는 것은 아니다.

또한 모델 가중치의 비밀 유지와 관련된 실제 증명 생성 프로그램 전체가 형식적으로 검증된 것도 아니다.

이 구분은 중요하다.

수학적으로 안전한 프로토콜을 설계했더라도 실제 소프트웨어 구현에 결함이 있다면 문제가 발생할 수 있기 때문이다.

AI 모델의 출처를 증명하면 무엇이 달라질까

FlashProve가 실용화될 경우 활용할 수 있는 분야는 다양하다.

대표적인 영역은 AI 모델의 독립적인 평가다.

현재 AI 모델을 평가하는 기관은 서비스 제공자가 실제로 어떤 모델을 실행했는지 확인하는 데 어려움을 겪을 수 있다.

평가 시점에 특정 모델을 제공했다고 해도 이후 다른 모델을 사용했다면 평가 결과의 의미가 달라질 수 있다.

암호학적 증명을 활용하면 평가된 출력이 특정 모델의 계산과 일치하는지 확인할 수 있다.

기업용 AI 서비스의 계약 검증에도 활용할 여지가 있다.

예를 들어 기업이 특정 AI 모델을 이용하는 조건으로 계약했다면, 서비스 제공자가 실제로 해당 모델을 사용했는지 기술적으로 확인할 수 있게 된다.

또 다른 영역은 보안이다.

공격자가 추론 서버를 침해해 모델을 바꾸거나 출력 토큰을 변조하는 경우, 예상한 모델과 일치하는 증명을 만들 수 없다면 이상을 탐지할 수 있다.

그러나 증명이 유효하다는 사실만으로 AI 답변의 내용이 안전하거나 정확하다는 것은 아니다.

원래 모델 자체가 잘못된 답변을 생성할 수도 있기 때문이다.

FlashProve가 검증하려는 것은 답변의 진실성이 아니라 계산의 출처와 무결성이다.

AI 규제에도 새로운 검증 수단이 등장할까

Anthropic은 이번 기술이 AI 규제와도 연결될 수 있다고 설명했다.

예를 들어 특정 위험 수준을 넘는 AI 모델의 사용을 제한하는 제도가 있다고 가정해 보자.

AI 서비스 제공자는 승인된 모델만 사용한다고 주장할 수 있다.

그러나 규제기관이 이를 직접 확인하려면 실제 서버에서 어떤 모델이 실행되는지 조사해야 한다.

대규모 AI 시스템에서는 이러한 확인이 쉽지 않다.

특히 상용 모델의 가중치는 공개되지 않는 경우가 많다.

FlashProve와 같은 기술은 모델의 내부 가중치를 공개하지 않고도 특정 승인 모델이 사용됐는지 검증할 가능성을 제공한다.

AI 개발 속도를 관리하는 정책에서도 활용 가능성이 제기된다.

일부 정책 제안은 AI 기업이 연산 자원을 새로운 대형 모델의 학습에 사용하는 대신 기존 모델의 추론에 사용하도록 제한하는 방안을 포함한다.

이때 기업이 실제로 약속된 모델을 서비스했는지 검증할 수 있다면 규제 집행에 도움이 될 수 있다.

그러나 FlashProve만으로 기업의 전체 GPU 사용 목적을 입증할 수는 없다.

Anthropic 역시 특정 추론이 수행됐다는 증명이 해당 하드웨어가 다른 시간에 모델 학습을 하지 않았다는 사실까지 증명하는 것은 아니라고 명시했다.

따라서 기술이 제공하는 증명 범위를 규제 목적에 맞춰 정확하게 정의해야 한다.

AI가 생성한 콘텐츠의 출처도 증명할 수 있을까

이번 연구는 AI 생성 콘텐츠의 투명성 문제와도 연결된다.

현재 AI 생성 콘텐츠를 표시하는 방식에는 여러 접근이 존재한다.

AI가 생성한 글이나 이미지에 표시를 붙이는 방법이 있고, 콘텐츠 파일에 생성·편집 이력을 기록하는 방법도 있다.

하지만 표시가 있다고 해서 그 콘텐츠가 실제로 특정 AI 모델에서 생성됐다는 사실이 암호학적으로 증명되는 것은 아니다.

FlashProve는 이 문제의 일부를 다룰 수 있다.

특정 입력에 대한 출력이 사전에 약속된 모델에서 생성됐다는 사실을 검증하는 것이다.

예를 들어 기업이 어떤 AI 모델로 보안검사를 수행했다고 주장한다면, 해당 모델이 실제로 지정된 작업의 추론을 수행했는지 검증할 가능성이 생긴다.

그러나 여기에도 한계가 있다.

특정 모델에서 생성된 출력이라는 사실이 해당 콘텐츠에 인간이 개입하지 않았다는 사실까지 증명하는 것은 아니다.

또한 AI 모델이 생성한 문장이 이후 편집되거나 다른 콘텐츠와 결합됐다면 원래 추론 증명만으로 최종 콘텐츠의 전체 제작 과정을 설명할 수 없다.

따라서 생성 이력을 기록하는 콘텐츠 출처 기술과 모델 계산을 검증하는 기술은 서로 다른 역할을 한다.

하나는 콘텐츠가 어떻게 만들어지고 변경됐는지를 추적하려 한다.

다른 하나는 특정 계산이 어떤 모델에서 수행됐는지를 검증하려 한다.

두 기술이 결합된다면 AI 생성 콘텐츠의 출처와 제작 과정에 관한 보다 강한 검증 체계를 구축할 가능성이 있다.

아직 모든 AI 답변을 증명할 수 있는 것은 아니다

Anthropic은 FlashProve가 완성된 상용 기술이 아니라 연구용 시제품이라고 설명했다.

가장 중요한 한계는 검증 범위다.

현재 시스템은 최대 1,024토큰의 문맥을 대상으로 작동한다.

현대 AI 서비스가 수만 또는 수십만 토큰 이상의 문맥을 처리하는 것과 비교하면 제한적인 규모다.

또한 현재 증명은 정수 연산을 사용하는 특정 모델과 탐욕적 디코딩 조건에 맞춰져 있다.

실제 상용 언어모델은 부동소수점 연산과 다양한 토큰 샘플링 방식을 사용할 수 있다.

이 차이로 인해 실제 서비스에서 생성한 출력과 증명 대상 계산 사이에 불일치가 발생할 수 있다.

모델 아키텍처를 숨기지 않는다는 점도 한계다.

FlashProve는 모델의 가중치를 보호하지만, 어떤 구조의 모델인지는 숨기지 않는다.

또한 증명 생성시간 같은 부가정보를 이용해 내부 정보가 유출될 가능성은 이번 연구의 검증 범위 밖에 있다.

무엇보다 증명 생성 비용이 높다.

따라서 현재 연구 결과를 모든 AI 서비스가 곧바로 실시간 암호학적 검증을 제공할 수 있는 단계로 해석해서는 안 된다.

연구진이 보여준 성과는 대규모 AI 모델에 대한 영지식 추론 증명의 성능이 크게 개선됐다는 사실이다.

상용화까지는 비용과 정확성, 지원 모델, 검증 범위를 확대해야 한다.

AI 신뢰의 기준이 바뀔 수 있다

그동안 AI 서비스의 신뢰는 주로 모델의 성능과 제공 기업의 평판을 중심으로 평가됐다.

사용자는 답변이 정확한지 살펴보고, 기업이 공개한 성능평가 결과와 안전성 정책을 참고했다.

그러나 AI가 다양한 기업과 중개 서비스를 거쳐 제공되고, 실제 금융·보안·행정 업무에 활용될수록 다른 질문이 중요해질 수 있다.

이 답변은 어떤 모델이 생성했는가.

계약한 모델이 실제로 사용됐는가.

출력은 중간에 변경되지 않았는가.

독립적인 평가기관은 서비스 제공자의 설명을 어디까지 검증할 수 있는가.

FlashProve는 이러한 질문 가운데 일부에 대해 새로운 기술적 수단을 제시한다.

모델을 다시 실행하지 않고도 특정 계산의 출처를 검증할 수 있도록 하는 것이다.

특히 모델의 내부 가중치를 공개하지 않아도 된다는 점은 상용 AI 산업에서 중요하다.

기업은 지식재산을 보호하고 싶어 한다.

이용자와 규제기관은 실제로 어떤 모델이 사용됐는지 확인하고 싶어 한다.

영지식증명은 이러한 요구를 동시에 충족할 수 있는 가능성을 제공한다.

하지만 증명이 곧 신뢰의 완성은 아니다.

검증된 모델이 잘못된 답변을 생성할 수도 있다.

증명 대상에 포함되지 않은 데이터나 도구, 후속 처리 과정에서 문제가 발생할 수도 있다.

따라서 AI의 신뢰성을 확보하려면 추론 출처의 검증뿐 아니라 모델 성능 평가와 안전성 검토, 데이터 보호, 시스템 운영 통제가 함께 필요하다.

AI가 무엇을 답했는가에서 어떤 AI가 답했는가로

Anthropic의 FlashProve 연구는 AI 산업의 새로운 문제를 드러낸다.

AI의 성능이 높아질수록 이용자는 점점 더 복잡한 업무를 맡긴다.

기업은 고성능 모델을 구매하고, 외부 플랫폼을 통해 AI를 연결하며, 중요한 의사결정에 활용한다.

하지만 실제로 약속된 모델이 사용됐는지 확인할 수 없다면 새로운 신뢰 문제가 발생한다.

Anthropic은 이러한 문제를 암호학적 증명으로 해결하려 한다.

이번 연구에서는 4,000억 매개변수 모델을 대상으로 초당 약 110개 토큰에 대한 증명을 생성하는 성과를 공개했다.

검증자는 모델의 전체 가중치나 고성능 GPU 없이도 증명서를 확인할 수 있었다.

Claude는 이러한 시스템의 최적화에 기여했고, 연구진은 Lean을 활용해 핵심적인 보안 성질을 형식적으로 표현하고 검증했다.

동시에 한계도 분명하다.

일반 추론보다 70~95배의 GPU 시간이 필요하고, 짧은 문맥과 특정 계산 조건에서만 검증이 이뤄졌다.

실제 상용 서비스에 적용하려면 상당한 기술적 개선이 필요하다.

그럼에도 이번 연구는 중요한 전환점을 보여준다.

지금까지 AI 이용자는 제공자가 어떤 모델을 사용했다고 말하는지 신뢰해야 했다.

앞으로는 그 주장이 실제 계산과 일치하는지 확인할 수 있는 기술이 발전할 수 있다.

이 변화가 의미 있는 이유는 AI가 일상적인 대화 도구를 넘어 사회적·경제적으로 중요한 시스템의 일부가 되고 있기 때문이다.

금융과 보안, 기업 운영, 공공서비스에서 AI를 이용할수록 모델의 성능뿐 아니라 실제 실행된 모델과 계산의 무결성을 확인하는 일이 중요해진다.

AI 시대의 신뢰는 좋은 답변을 만들어내는 능력만으로 완성되지 않는다. 그 답변이 약속된 모델에서 생성됐다는 사실까지 검증할 수 있어야 한다는 요구가 등장하고 있다.

FlashProve는 아직 모든 AI 답변을 증명할 수 있는 기술은 아니다.

그러나 AI 서비스가 제공하는 설명을 외부에서 검증 가능한 증거로 바꾸려는 구체적인 시도다.

AI가 무엇을 말했는지 확인하는 시대를 넘어, 어떤 AI가 실제로 그 말을 만들었는지 증명하려는 경쟁이 시작되고 있다.