인공지능(AI) 반도체 시장에서는 오랫동안 더 빠르고 강력한 칩을 만드는 경쟁이 벌어졌다.
얼마나 많은 연산을 수행할 수 있는지, 얼마나 큰 AI 모델을 학습시킬 수 있는지, 같은 시간에 얼마나 많은 요청을 처리할 수 있는지가 중요한 성능 지표였다.
그러나 AI가 단순한 질문과 답변을 넘어 실제 업무를 수행하는 에이전트로 발전하면서 새로운 문제가 등장하고 있다.
AI가 여러 개의 업무를 동시에 수행하고, 방대한 문서를 읽으며, 외부 프로그램과 연결되는 상황에서는 연산 성능만 높인다고 모든 문제가 해결되지 않는다.
때로는 데이터를 불러오는 속도가 부족하다.
여러 AI 에이전트가 대규모 정보를 처리하는 과정에서 메모리가 부족해질 수도 있다.
금융과 의료, 공공기관에서는 AI가 민감한 데이터를 처리하는 과정의 보안이 중요한 문제가 된다.
AI가 외부 시스템의 응답을 기다리는 동안 값비싼 컴퓨팅 자원이 아무 일도 하지 못하는 상황도 발생한다.
구글이 이러한 변화에 새로운 전략을 내놓았다.
2026년 11월 9일 구글은 8세대 텐서처리장치(TPU) 제품군에 'TPU 8tx'와 'TPU 8i Max'를 추가한다고 발표했다.
올해 4월 공개한 TPU 8t와 TPU 8i에 이어 한 해에 네 가지 TPU 시스템을 선보인 것이다.
각 시스템이 담당하는 역할은 다르다.
TPU 8t는 대규모 AI 모델 학습을, TPU 8i는 낮은 지연시간이 중요한 추론을 담당한다.
새로운 TPU 8tx는 민감한 데이터를 안전하게 처리하는 기밀 연산에 초점을 맞췄다.
TPU 8i Max는 대규모 문맥과 메모리 처리가 필요한 AI 작업을 겨냥했다.
구글은 네 가지 시스템을 통해 AI 모델의 학습부터 실시간 추론, 민감정보 처리, 대규모 에이전트 실행까지 대응하겠다는 구상이다.
흥미로운 점은 구글이 이번 발표에서 새로운 반도체 칩보다 '시스템'이라는 개념을 강조했다는 사실이다.
칩 하나의 성능을 높이는 것보다 기존 칩과 메모리, 네트워크, 소프트웨어를 어떻게 결합하느냐가 더 중요해지고 있다는 판단이다.
AI 반도체 경쟁이 가장 강력한 칩 하나를 만드는 싸움에서, 서로 다른 AI 업무에 맞는 컴퓨팅 시스템을 얼마나 효율적으로 구성할 수 있는가의 경쟁으로 이동하고 있는 것이다.
1. AI 에이전트는 왜 반도체의 요구 조건을 바꾸나
초기의 생성형 AI 서비스는 상대적으로 단순한 구조였다.
이용자가 질문을 입력하면 AI가 답변을 생성한다.
이 과정에서는 AI 모델이 입력된 정보를 처리하고 다음에 나올 토큰을 예측하는 연산이 중요했다.
그러나 AI 에이전트는 다른 방식으로 작동한다.
예를 들어 소프트웨어 개발 에이전트가 대규모 프로그램의 오류를 수정한다고 가정해 보자.
AI는 먼저 관련 코드를 읽어야 한다.
오류가 발생한 위치를 찾고 다른 파일과의 연결 관계를 파악해야 한다.
필요하면 테스트 프로그램을 실행하고, 결과를 확인한 뒤 코드를 다시 수정한다.
작업이 길어지면 이전 단계에서 확인한 정보를 계속 참조해야 한다.
여러 에이전트가 협업한다면 각각의 작업 상태와 결과를 공유하는 과정도 필요하다.
여기서 중요한 자원은 연산 능력만이 아니다.
방대한 문맥을 저장하고 불러올 수 있는 메모리도 필요하다.
여러 칩 사이에서 데이터를 빠르게 전달할 네트워크도 중요하다.
외부 도구의 실행을 기다리는 동안 연산 자원을 어떻게 관리할지도 고려해야 한다.
구글이 이번 발표에서 인간 중심의 컴퓨팅이 에이전트 규모의 컴퓨팅으로 이동하고 있다고 설명한 이유다.
AI 에이전트는 더 많은 작업을 수행할 수 있지만, 동시에 기존 컴퓨팅 시스템이 충분히 고려하지 않았던 자원 관리 문제를 드러낸다.
따라서 AI 가속기의 경쟁력은 단순한 초당 연산 횟수보다 실제 업무에서 얼마나 많은 유용한 결과를 만들어낼 수 있는지에 따라 달라질 수 있다.
2. 구글은 왜 한 세대에 네 가지 TPU를 만들었나
구글은 이번 발표에서 8세대 TPU 제품군을 네 가지 시스템으로 확대했다.
TPU 시스템 | 핵심 역할 | 주요 특징 |
|---|---|---|
TPU 8t | 대규모 AI 모델 학습 | 학습 성능과 에너지 효율 |
TPU 8i | 실시간 추론·추론형 AI | 낮은 지연시간과 칩 간 통신 효율 |
TPU 8tx | 민감정보를 처리하는 AI | 하드웨어 기반 기밀 연산 |
TPU 8i Max | 초장문·대규모 에이전트 처리 | 연산·메모리 대역폭·랙 밀도 확대 |
구글은 네 가지 모두 새로운 반도체 설계를 사용하는 것은 아니라고 설명했다.
이 점이 중요하다.
새로운 반도체 칩을 설계하려면 수많은 트랜지스터를 배치하고 제조공정을 준비해야 한다.
반도체 개발에는 상당한 시간과 비용이 필요하다.
반면 이미 개발된 칩을 어떤 방식으로 연결하고, 메모리와 네트워크를 어떻게 구성할지는 상대적으로 빠르게 조정할 수 있다.
구글은 이를 '칩을 중심으로 컴퓨터를 설계하는 방식'이라고 설명한다.
기존 칩을 기반으로 여러 컴퓨팅 구성요소를 조합해 새로운 시스템을 만드는 것이다.
예를 들어 TPU 8tx는 TPU 8t와 같은 반도체를 기반으로 한다.
그러나 보안과 저지연 네트워크를 결합해 다른 용도의 시스템을 구현했다.
TPU 8i Max는 두 개의 TPU 8i 칩을 하나의 패키지에 결합했다.
메모리와 연산 자원을 함께 늘려 초장문 처리에 대응하려는 방식이다.
이는 AI 시장의 요구가 빠르게 바뀌는 상황에서 의미가 있다.
모든 새로운 요구에 대응하기 위해 완전히 새로운 반도체를 개발한다면 제품 출시까지 오랜 시간이 걸릴 수 있다.
반면 기존 칩을 기반으로 시스템 구성을 바꾸면 고객의 요구에 더 빠르게 대응할 가능성이 있다.
구글은 이러한 모듈식 설계를 통해 새로운 전용 컴퓨팅 시스템을 수년이 아니라 수개월 단위로 제공할 수 있다고 주장했다.
다만 실제 제품 개발기간과 비용 절감 효과를 비교할 수 있는 구체적인 자료는 이번 발표에 공개되지 않았다.
3. TPU 8tx는 왜 반도체 내부의 보안을 강조하나
TPU 8tx는 이번 발표에서 가장 흥미로운 제품 중 하나다.
구글은 이를 민감한 정보를 처리하는 기업과 정부기관을 위해 설계했다고 밝혔다.
일반적으로 데이터는 저장할 때 암호화할 수 있다.
네트워크를 통해 전송할 때도 암호화할 수 있다.
그러나 컴퓨터가 해당 데이터를 실제로 처리하는 과정에서는 필요한 정보가 메모리에 올라와 연산에 사용된다.
이때 데이터를 어떻게 보호할 것인지가 중요한 문제가 된다.
TPU 8tx는 이러한 요구에 대응하기 위해 하드웨어 수준의 기밀 연산 기능을 제공한다.
구글에 따르면 민감한 데이터와 AI 모델의 가중치를 실제 연산 중에도 보호하고 격리할 수 있도록 설계됐다.
시스템은 TPU 8t와 동일한 실리콘을 기반으로 하며 5세대 AMD EPYC CPU 호스트와 결합된다.
또한 저지연 Boardfly 네트워크를 적용했다.
구글은 TPU 8t 대비 지연시간을 최대 2배 줄일 수 있으며, 성능 저하는 거의 없다고 설명했다.
여기서 '최대 2배 낮은 지연시간'은 모든 AI 작업에서 처리 속도가 정확히 두 배 높아진다는 뜻이 아니다.
성능 비교는 작업의 종류와 구성, 측정 조건에 따라 달라질 수 있다.
또한 하드웨어 기반 기밀 연산을 지원한다고 해서 데이터 유출이나 사이버공격 위험이 완전히 사라지는 것은 아니다.
기밀 연산은 특정한 위협으로부터 데이터를 보호하기 위한 기술이다.
시스템 전체의 안전성에는 접근권한 관리와 소프트웨어 보안, 운영 환경의 설정 등이 함께 영향을 미친다.
그럼에도 중요한 변화는 분명하다.
구글은 기업용 AI에서 보안을 소프트웨어의 부가 기능으로만 다루지 않고, 컴퓨팅 시스템을 설계하는 단계부터 반영하려 한다.
4. 민감한 기업 데이터를 AI에 연결하려면 무엇이 필요한가
기업용 AI가 널리 확산되려면 내부 데이터를 활용할 수 있어야 한다.
기업의 핵심 업무는 공개된 인터넷 정보만으로 처리하기 어렵다.
금융기관은 고객 거래정보와 내부 위험관리 자료를 다룬다.
의료기관은 민감한 환자정보를 보유한다.
정부기관은 공개하기 어려운 행정정보를 처리할 수 있다.
AI가 이러한 정보를 활용하면 업무 효율을 높일 가능성이 있다.
그러나 데이터 보호에 관한 우려도 발생한다.
특히 외부 클라우드에서 AI 모델을 실행하는 경우 기업은 데이터가 어디에서 처리되는지, 어떤 주체가 접근할 수 있는지 확인하려 한다.
TPU 8tx는 이러한 요구에 대응하기 위한 제품이다.
구글은 기업이 민감한 데이터를 별도의 클러스터로 옮기지 않고도 모델의 미세조정과 증류, 강화학습 등을 수행할 수 있다고 설명했다.
예를 들어 기업이 자체 문서를 활용해 AI 모델을 개선하려는 경우를 생각해 볼 수 있다.
기존에는 학습을 위한 인프라와 실제 서비스를 위한 인프라를 별도로 운영해야 할 수 있다.
하지만 같은 시스템에서 모델을 조정하고 추론까지 수행할 수 있다면 데이터 이동과 운영의 복잡성을 줄일 여지가 있다.
물론 구체적인 비용 절감 효과는 실제 업무 환경에서 확인해야 한다.
또한 특정 국가의 규제를 준수할 수 있는지는 암호화 기능만으로 판단할 수 없다.
데이터 저장 위치와 접근통제, 감사기록, 운영 주체 등 다른 법적·기술적 조건도 고려해야 한다.
TPU 8tx는 그러한 요구에 대응할 수 있는 기술적 기반을 제공하려는 시도로 보는 것이 정확하다.
5. TPU 8i Max는 왜 메모리를 두 배로 늘렸나
TPU 8tx가 보안에 초점을 맞췄다면 TPU 8i Max는 메모리 문제를 해결하려는 시스템이다.
AI 에이전트가 처리하는 작업이 복잡해질수록 많은 정보를 동시에 참조해야 하는 상황이 발생한다.
대규모 프로그램의 전체 코드를 분석하거나 몇 시간 분량의 영상을 이해하는 작업이 대표적이다.
여러 에이전트가 서로 협력하면서 정보를 교환하는 경우에도 메모리 수요가 증가할 수 있다.
이때 연산 성능이 충분해도 메모리에서 필요한 정보를 제때 공급하지 못하면 전체 시스템이 느려질 수 있다.
이를 흔히 '메모리 장벽(Memory Wall)' 문제라고 부른다.
구글은 TPU 8i Max를 개발하면서 두 개의 저지연 TPU 8i 칩을 하나의 패키지에 결합했다.
그 결과 단일 TPU 8i 대비 연산 성능과 SRAM, HBM 메모리 대역폭을 각각 두 배로 확대했다고 밝혔다.
연산 성능만 늘리는 것이 아니라 메모리 처리 능력도 함께 늘린 것이다.
이는 중요한 설계 방향이다.
연산장치가 더 빠르게 작동하더라도 필요한 데이터를 공급받지 못한다면 성능 향상이 제한될 수 있다.
따라서 연산능력과 메모리 성능을 균형 있게 확장하는 것이 중요하다.
구글은 기존 랙 공간 안에서 더 많은 연산 자원을 배치할 수 있다는 점도 강조했다.
데이터센터의 물리적인 공간과 전력은 제한적이기 때문이다.
다만 연산·메모리 자원이 두 배가 됐다는 사실이 실제 모든 AI 작업의 처리속도도 두 배가 된다는 뜻은 아니다.
실제 성능은 모델과 문맥 길이, 메모리 접근 패턴, 시스템 구성 등에 따라 달라진다.
6. 백만 토큰의 시대, 왜 메모리가 중요한가
AI 모델이 처리할 수 있는 문맥이 길어지면서 새로운 활용 가능성이 등장했다.
과거에는 비교적 짧은 질문과 답변이 중심이었다.
이제는 수백 페이지의 문서나 대규모 코드, 긴 영상과 여러 데이터 소스를 함께 처리하는 작업이 중요해지고 있다.
하지만 긴 문맥을 처리하려면 많은 중간 계산 결과와 상태정보를 관리해야 한다.
대표적인 것이 KV 캐시(Key-Value Cache)다.
이는 트랜스포머 기반 언어모델이 이전에 처리한 토큰의 관련 정보를 저장해, 이후 토큰을 생성할 때 반복 계산을 줄이는 데 사용한다.
문맥이 길어지고 동시에 처리하는 이용자가 늘어나면 KV 캐시가 차지하는 메모리도 커질 수 있다.
이러한 상황에서는 고성능 반도체를 많이 확보하는 것만으로 문제가 해결되지 않는다.
메모리의 용량과 대역폭, 데이터를 이동시키는 속도가 중요한 변수가 된다.
구글이 TPU 8i Max를 초장문 처리에 특화한 이유다.
다만 문맥을 백만 토큰까지 처리할 수 있다는 것과 백만 토큰의 정보를 모두 정확하게 이해하고 활용할 수 있다는 것은 다른 문제다.
전자는 시스템과 모델이 처리할 수 있는 입력 규모에 관한 것이다.
후자는 실제 추론의 정확도와 정보 활용 능력에 관한 것이다.
구글의 이번 발표는 주로 전자의 인프라 문제를 해결하는 데 초점을 맞췄다.
7. 구글은 왜 엔비디아와 같은 방식으로 경쟁하지 않나
AI 반도체 시장에서는 엔비디아가 오랫동안 강력한 지위를 유지해 왔다.
엔비디아의 경쟁력은 GPU 성능뿐 아니라 CUDA를 중심으로 구축한 소프트웨어 생태계, 네트워크 기술과 시스템 설계 역량에도 있다.
구글의 TPU는 이러한 시장에서 중요한 대안이다.
TPU는 구글이 자체 AI 서비스를 운영하면서 확보한 경험을 기반으로 발전해 왔다.
처음에는 음성인식과 번역 등 구글 내부의 AI 업무를 위해 개발됐다.
이후 Gemini 모델의 학습과 추론, 구글 클라우드 고객의 AI 서비스까지 활용 범위가 확대됐다.
최근에는 고객이 자신의 데이터센터에 TPU를 직접 배치할 수 있는 방향으로 사업을 확장하고 있다.
구글에 따르면 현재 TPU 고객은 약 100곳에 달한다.
고객에는 대규모 AI 모델 개발기업과 금융거래 기업, 소매업체, 대학 등이 포함된다.
이는 TPU가 구글 내부에서만 사용하는 전용 반도체를 넘어 외부 고객에게 제공되는 사업으로 확대되고 있음을 보여준다.
그러나 약 100곳의 고객이라는 수치만으로 TPU가 엔비디아의 GPU 시장을 얼마나 대체했는지 판단할 수는 없다.
TPU 사업의 독립적인 매출과 시장점유율, 고객별 사용 규모가 공개되지 않았기 때문이다.
그럼에도 경쟁 구도의 변화는 뚜렷하다.
구글은 GPU의 범용성을 그대로 모방하기보다 특정 AI 업무에 최적화한 시스템과 소프트웨어를 결합하려 한다.
이는 엔비디아의 주요 경쟁 영역인 AI 인프라 시장에서 다른 차별화 전략을 구축하려는 움직임으로 해석할 수 있다.
8. 더 중요한 발표는 반도체가 아니라 PyTorch 지원일 수 있다
AI 반도체의 시장 경쟁력을 결정하는 것은 하드웨어 성능만이 아니다.
개발자가 실제로 얼마나 쉽게 사용할 수 있는지가 중요하다.
아무리 빠른 반도체라도 기존 AI 모델을 실행하기 위해 많은 코드를 수정해야 한다면 도입에 부담이 생긴다.
AI 개발자는 이미 여러 소프트웨어와 도구를 활용하고 있다.
대표적인 것이 PyTorch다.
많은 AI 연구와 개발 프로젝트에서 PyTorch를 사용한다.
따라서 새로운 반도체가 널리 확산되려면 기존 PyTorch 기반의 작업을 얼마나 쉽게 실행할 수 있는지가 중요하다.
구글은 이번 발표에서 TorchTPU를 오픈소스로 공개했다고 설명했다.
이를 통해 PyTorch 코드와 Hugging Face 모델을 별도의 코드 재작성 없이 TPU에서 실행할 수 있도록 지원한다는 것이다.
또한 vLLM과 SGLang 등 오픈소스 추론 엔진에 대한 지원도 확대했다.
이 변화는 단순한 개발 편의 기능 이상이다.
기존 AI 소프트웨어가 특정 하드웨어 생태계에 강하게 연결돼 있다면 새로운 반도체로 이동하는 데 전환 비용이 발생한다.
구글은 그 비용을 줄이려 한다.
그러나 '코드 재작성 없이 실행'된다는 설명이 모든 사용자 정의 연산과 모든 모델에서 완전한 호환성과 동일한 성능을 보장한다는 뜻은 아니다.
실제 배포 환경에서는 지원 범위와 최적화 상태를 확인해야 한다.
그럼에도 개발자 접근성을 높이는 것이 TPU 사업 확장에 중요한 과제라는 점은 분명하다.
9. AI가 직접 AI 반도체를 최적화하는 시대
구글은 TPU 개발과 운영 과정에서도 AI를 활용하고 있다.
이번 발표에는 새로운 오픈소스 TPU 에이전트 도구 모음이 포함됐다.
이 도구는 Claude Code와 Cursor, Google Antigravity 등 AI 코딩 환경과 연결될 수 있도록 설계됐다.
개발자는 자연어를 사용해 TPU 환경을 설정하거나 성능 병목을 진단하고, 사용자 정의 커널을 최적화하는 작업을 지원받을 수 있다.
이는 AI를 실행하는 시스템을 AI가 다시 최적화하는 구조다.
AI 인프라를 사용하는 데 필요한 전문지식과 반복 업무를 줄이려는 것이다.
구글은 별도로 DeepMind의 AlphaChip 강화학습 시스템을 반도체 설계에도 활용해 왔다고 설명했다.
Gemini를 이용해 칩 설계 배치 작업을 기존의 수주 단위에서 수시간 단위로 단축하는 사례도 제시했다.
이러한 변화가 의미하는 것은 AI 산업의 기술개발 속도가 서로 연결되고 있다는 점이다.
더 나은 AI 모델은 반도체와 시스템 설계를 지원한다.
개선된 반도체와 시스템은 새로운 AI 모델의 개발과 운영을 뒷받침한다.
이러한 순환 구조가 기술개발 속도를 높일 가능성이 있다.
다만 구글이 제시한 개발시간 단축 효과가 전체 반도체 개발기간이 같은 비율로 줄어든다는 뜻은 아니다.
반도체 설계와 제조에는 여전히 다양한 단계가 존재하기 때문이다.
10. AI 에이전트가 쉬는 동안 데이터센터는 돈을 낭비한다
이번 발표에서 주목해야 할 기술은 반도체 외에도 있다.
구글이 공개한 'Agent Compute Engine'이다.
AI 에이전트는 일반적인 AI 추론 서비스와 다른 방식으로 자원을 사용한다.
예를 들어 AI 에이전트가 데이터베이스에 필요한 정보를 요청했다고 가정해 보자.
응답이 도착하기까지 기다려야 한다.
외부 프로그램을 실행한 뒤 결과를 기다리는 경우도 있다.
어떤 업무에서는 사람의 승인을 받기 위해 몇 분 또는 몇 시간 동안 대기해야 할 수도 있다.
이때 에이전트가 대기하는 동안 관련 컴퓨팅 자원이 계속 점유돼 있다면 비효율이 발생할 수 있다.
구글은 이를 해결하기 위해 유휴 에이전트 세션을 자동으로 일시 중단하고, 다시 실행할 때 복구하는 기능을 소개했다.
이러한 방식은 연산 자원의 낭비를 줄이려는 것이다.
특히 AI 에이전트의 수가 증가하면 이러한 문제가 중요해질 수 있다.
동시에 수많은 에이전트가 실행되는 환경에서는 짧은 대기시간도 전체적으로 상당한 자원 비용을 발생시킬 가능성이 있기 때문이다.
따라서 AI 에이전트의 경제성은 얼마나 빠르게 추론하는지만으로 결정되지 않는다.
작업을 기다리는 동안 자원을 얼마나 효율적으로 관리하는지도 중요해진다.
다만 구글은 이번 발표에서 Agent Compute Engine을 통해 절감되는 비용의 구체적인 평균값을 제시하지 않았다.
실제 비용 절감 효과는 작업의 대기시간과 자원 사용 패턴에 따라 달라질 수 있다.
11. TPU Sync는 왜 메모리를 하나의 시스템처럼 연결하나
구글은 또 다른 소프트웨어 기술인 TPU Sync도 공개했다.
TPU Sync는 AI 모델의 상태정보를 관리하는 계층이다.
핵심은 GPU나 TPU에 탑재된 고속 메모리만 사용하는 대신, 여러 종류의 메모리와 저장장치, 네트워크를 함께 활용하는 것이다.
TPU의 HBM과 호스트 컴퓨터의 DRAM, 공유 저장장치를 하나의 계층적 구조로 연결한다.
예를 들어 모든 KV 캐시를 빠르고 비싼 HBM에 저장할 필요가 없도록 하는 것이다.
상대적으로 자주 사용하지 않는 정보를 다른 메모리 계층으로 이동시키고, 필요할 때 다시 가져오는 방식이 가능하다.
구글은 이러한 기술을 통해 KV 캐시 전송 지연시간과 첫 토큰 출력시간(TTFT)을 90% 이상 줄일 수 있다고 밝혔다.
이 수치는 중요한 성능 개선 주장이다.
그러나 모든 AI 서비스에서 전체 응답시간이 90% 감소한다는 뜻은 아니다.
구글이 제시한 특정 데이터 전송 및 초기 응답 지연과 관련된 성능 지표다.
실제 환경에서는 모델과 시스템 구성, 처리하는 문맥의 길이에 따라 개선 효과가 달라질 수 있다.
그럼에도 AI 에이전트 시대에 메모리 관리가 얼마나 중요한지 보여주는 사례다.
단순한 연산속도 향상을 넘어 데이터를 저장하고 이동시키는 방식의 개선이 시스템 전체의 효율을 높일 수 있기 때문이다.
12. 데이터센터의 연결 구조도 소프트웨어로 바꾼다
구글은 TPU 시스템의 연결과 운영 방식도 개선하고 있다.
대표적인 것이 Cloud Pathways와 GKE Dynamic Slicing이다.
Cloud Pathways는 여러 TPU 시스템을 하나의 큰 컴퓨팅 환경처럼 관리할 수 있도록 지원한다.
구글은 이를 통해 Gemini를 운영하면서 확보한 분산 실행 기술을 외부 클라우드 고객에게 제공하려 한다.
GKE Dynamic Slicing은 데이터센터의 물리적인 TPU 자원을 서로 다른 논리적 구성으로 조합할 수 있도록 한다.
여기에는 광회선 스위칭(Optical Circuit Switching·OCS) 기술이 사용된다.
필요한 경우 여러 TPU 자원을 연결해 큰 작업을 처리할 수 있다.
반대로 하나의 대규모 자원을 분리해 서로 독립적인 여러 작업에 배정할 수도 있다.
구글은 이러한 방식으로 작업 시작시간을 최대 5배 단축하고 장애 복구를 최대 4.5배 빠르게 할 수 있다고 밝혔다.
이 역시 특정 구성과 측정 조건에서 제시한 성능 주장으로 이해해야 한다.
하지만 전략적 의미는 분명하다.
AI 데이터센터의 경쟁력은 어떤 반도체를 설치했느냐뿐 아니라, 그 반도체들을 얼마나 유연하게 연결하고 실제 수요에 맞춰 사용할 수 있느냐에도 달려 있다.
하드웨어 자원은 물리적으로 고정돼 있어도 소프트웨어를 통해 활용 방식은 달라질 수 있다.
구글은 바로 이 부분을 AI 인프라 경쟁력으로 만들려 한다.
13. 구글이 TPU를 외부 데이터센터에 판매하는 이유
TPU는 처음부터 외부 기업에 판매하기 위해 개발된 반도체가 아니었다.
구글 내부의 AI 업무를 처리하기 위해 설계됐다.
그러나 현재는 Gemini 모델을 지원하는 데 사용될 뿐 아니라 구글 클라우드 고객에게도 제공된다.
최근에는 고객이 자신의 데이터센터에 TPU를 직접 배치할 수 있는 방향으로 사업이 확장되고 있다.
이는 구글의 AI 인프라 사업에서 중요한 변화다.
과거에는 고객이 구글 클라우드를 이용해야 TPU를 활용할 수 있는 구조가 중심이었다.
앞으로는 고객이 자체 데이터센터에서 TPU를 이용하는 선택지도 생긴다.
이러한 방식은 데이터와 인프라를 자체적으로 관리하려는 대기업이나 정부기관에 매력적일 수 있다.
민감정보의 처리 위치와 운영 권한에 관한 요구가 있는 경우에도 관심을 가질 가능성이 있다.
특히 TPU 8tx와 같은 기밀 연산 시스템은 이러한 고객층을 겨냥한 제품이다.
하지만 외부 데이터센터 배치가 가능한 범위와 계약 조건, 제공 지역 등은 고객별로 달라질 수 있다.
따라서 TPU가 모든 기업에 일반 서버처럼 자유롭게 판매되는 단계에 도달했다고 단정할 수는 없다.
현재 확인되는 것은 구글이 TPU의 활용 범위를 자체 AI 서비스와 구글 클라우드를 넘어 외부 데이터센터로 확대하고 있다는 사실이다.
이러한 확장은 엔비디아를 비롯한 AI 반도체 공급업체들과의 경쟁 영역을 넓히는 결과로 이어질 수 있다.
14. 구글의 진짜 경쟁력은 반도체가 아니라 통합 설계에 있나
구글의 이번 발표를 하나의 흐름으로 보면 공통점이 나타난다.
반도체 성능만 이야기하지 않는다는 점이다.
TPU 8tx에서는 보안을 강조한다.
TPU 8i Max에서는 메모리 대역폭과 연산 밀도를 강조한다.
TorchTPU에서는 개발자의 접근성을 강조한다.
Agent Compute Engine에서는 유휴 연산 자원의 낭비를 줄이려 한다.
TPU Sync에서는 메모리 계층과 데이터 이동을 개선한다.
Cloud Pathways와 Dynamic Slicing에서는 분산된 연산 자원을 더 유연하게 운영한다.
이 모든 기술은 AI 시스템의 서로 다른 병목을 해결하기 위한 것이다.
구글은 이를 AI Hypercomputer라는 통합 인프라 전략 안에서 설명한다.
AI 모델과 반도체, 네트워크, 메모리, 소프트웨어를 따로 개발하는 것이 아니라 서로의 요구를 반영하면서 함께 설계하는 방식이다.
구글은 TPU를 오랫동안 DeepMind와 공동으로 설계해 왔다.
이제는 외부 고객의 요구도 더 적극적으로 반영하고 있다고 설명한다.
이러한 협력 구조에서는 실제 AI 모델이 어떤 연산을 필요로 하는지 반도체와 시스템 설계 단계에 반영할 수 있다.
반대로 새로운 반도체의 특성에 맞춰 AI 모델과 소프트웨어를 최적화할 수도 있다.
이 접근의 장점은 특정 업무에서 높은 효율을 추구할 수 있다는 것이다.
하지만 위험도 있다.
자체 시스템에 강하게 최적화될수록 일반적인 개발 환경과의 호환성을 유지하는 일이 중요해지기 때문이다.
구글이 TorchTPU와 오픈소스 소프트웨어 지원을 확대하는 것은 이러한 문제를 줄이려는 전략으로 해석할 수 있다.
15. AI 인프라 투자의 승부는 '가동률'에서 갈릴 수 있다
AI 반도체와 데이터센터는 상당한 자본이 필요한 자산이다.
기업은 고성능 반도체를 확보하고 네트워크와 저장장치를 구성해야 한다.
전력과 냉각시설도 필요하다.
이러한 투자가 경제적 성과로 연결되려면 확보한 자원을 실제 업무에 효율적으로 활용해야 한다.
여기서 중요한 것이 가동률이다.
비싼 반도체가 아무 작업도 하지 않고 대기하는 시간이 많아지면 자본 효율성이 떨어질 수 있다.
반대로 동일한 시스템에서 더 많은 작업을 처리할 수 있다면 비용 구조를 개선할 가능성이 있다.
구글이 이번에 발표한 여러 기술은 이러한 문제와 연결된다.
Agent Compute Engine은 대기 중인 에이전트의 자원 낭비를 줄이려 한다.
TPU Sync는 메모리 이동을 효율화한다.
Dynamic Slicing은 필요한 크기로 연산 자원을 조합한다.
TPU 8i Max는 같은 랙 공간에서 더 많은 연산 성능을 확보하려 한다.
모두 제한된 데이터센터 자원에서 더 많은 실제 업무를 처리하려는 접근이다.
이는 AI 산업에서 중요한 변화를 보여준다.
가장 높은 이론적 성능을 가진 반도체가 반드시 가장 경제적인 시스템이 되는 것은 아니다.
실제 고객의 작업에서 얼마나 높은 처리량과 낮은 비용을 달성하는지가 중요하다.
따라서 AI 인프라 기업들의 경쟁력은 칩 자체의 성능뿐 아니라 전체 시스템의 운영 효율성에 따라 평가될 가능성이 크다.
16. TPU가 엔비디아의 지위를 흔들 수 있을까
구글의 새로운 TPU 제품군은 엔비디아와의 경쟁을 더욱 뚜렷하게 만든다.
그러나 이번 발표만으로 시장의 승자가 바뀌었다고 평가하기는 어렵다.
구글은 8세대 TPU가 이전 세대 대비 학습 성능과 추론 가격 대비 성능을 개선했다고 설명했다.
TPU 8t는 이전 세대 대비 최대 2.7배의 학습 성능을, TPU 8i는 80% 개선된 추론 가격 대비 성능을 제공한다고 밝혔다.
하지만 이 수치는 구글이 제시한 자사 이전 세대와의 비교다.
동일한 조건에서 최신 엔비디아 GPU와 직접 비교한 결과는 아니다.
따라서 이를 TPU가 모든 AI 작업에서 엔비디아 제품보다 빠르다는 근거로 사용할 수는 없다.
또한 AI 반도체 시장의 경쟁력에는 하드웨어 성능 외에도 소프트웨어 지원과 고객의 기존 투자, 전환 비용 등이 영향을 미친다.
엔비디아는 오랫동안 GPU와 CUDA 기반의 개발 환경을 구축해 왔다.
구글이 외부 고객을 확대하려면 TPU의 성능뿐 아니라 기존 개발 환경에서의 활용 가능성을 증명해야 한다.
TorchTPU와 오픈소스 추론 엔진 지원이 중요한 이유다.
이번 발표는 구글이 엔비디아를 단일 제품으로 대체하려는 것보다, AI 업무별로 최적화된 시스템과 소프트웨어를 통해 대안적인 생태계를 확장하려 한다는 사실을 보여준다.
AI 반도체 경쟁은 이제 '칩'을 넘어 '시스템'으로 이동한다
구글은 이번 발표에서 8세대 TPU 제품군을 네 가지로 확장했다.
학습을 위한 TPU 8t.
낮은 지연시간의 추론을 위한 TPU 8i.
민감한 데이터를 보호하는 TPU 8tx.
초장문과 대규모 메모리 처리를 위한 TPU 8i Max.
각 시스템은 서로 다른 AI 업무를 겨냥한다.
이러한 구성이 보여주는 것은 AI 기술의 활용 방식이 빠르게 다양해지고 있다는 사실이다.
모든 기업이 대규모 AI 모델을 처음부터 학습시키는 것은 아니다.
어떤 기업은 이미 개발된 모델을 이용해 서비스를 제공한다.
다른 기업은 민감한 내부 데이터를 활용해 AI 모델을 조정하려 한다.
또 다른 기업은 여러 AI 에이전트가 대규모 업무를 수행하도록 만들고 있다.
이러한 작업은 서로 다른 컴퓨팅 자원을 필요로 한다.
따라서 하나의 반도체로 모든 업무를 처리하는 것보다 목적에 맞게 시스템을 구성하는 방식이 중요해질 수 있다.
구글은 이러한 변화에 맞춰 반도체와 메모리, 네트워크, 소프트웨어를 함께 설계하는 전략을 강화하고 있다.
그러나 새로운 시스템이 실제 시장에서 성공하려면 해결해야 할 문제도 있다.
개발자가 얼마나 쉽게 사용할 수 있는지, 다른 소프트웨어와 얼마나 잘 호환되는지, 고객의 실제 업무에서 얼마나 비용을 절감할 수 있는지 검증해야 한다.
특히 구글이 공개한 성능 개선 수치들은 대부분 회사가 제시한 조건에서의 측정 결과다.
실제 기업 환경에서 동일한 수준의 성능과 경제성이 확보되는지는 추가 검증이 필요하다.
그럼에도 이번 발표가 던지는 메시지는 분명하다.
AI 반도체의 경쟁은 더 빠른 칩을 만드는 데서 끝나지 않는다. 그 칩을 중심으로 어떤 컴퓨터를 만들고, 얼마나 많은 실제 업무를 안전하고 효율적으로 처리할 수 있는지가 새로운 경쟁의 중심이 되고 있다.
AI가 인간의 질문에 답하던 시대에는 모델을 얼마나 빠르게 실행할 수 있는지가 중요했다.
하지만 AI가 여러 도구를 사용하고 장시간 업무를 수행하며 민감한 데이터를 처리하는 에이전트의 시대로 확장되면서 시스템 전체의 설계가 중요해지고 있다.
구글은 이번 TPU 발표를 통해 그 변화에 대응하려 한다.
앞으로 AI 인프라 경쟁의 승자를 결정할 것은 단순한 반도체 성능표가 아닐 수 있다.
연산과 메모리, 네트워크, 보안, 소프트웨어를 얼마나 균형 있게 통합해 실제 고객의 비용을 줄이고 생산성을 높일 수 있는지가 더 중요한 기준이 될 것이다.
그리고 그 경쟁에서 구글은 칩 하나의 성능보다 AI가 실제로 일하는 방식에 맞춰 컴퓨팅 시스템 전체를 설계하는 능력에 승부를 걸고 있다.