[신동형의 ICT 미래읽기 블로그 : https://blog.naver.com/jack0604] 

[목차]

AI Factory가 온다 통신사의 새로운 도전 기술 인프라 혁신 사업 기회와 도전 미래 전망

다음은 신동형님이 작성한 'MWC 2025 - 가기 전에 봐야 할 Preview -'에서 발췌한 내용입니다.  [참고자료] Sovereign AI – a new services frontier for telecom (Mobile World Live, 2025)

[Executive Summary]

AI가 모든 산업의 생산성을 좌우하는 핵심 인프라로 자리잡으면서, 자국 AI 시스템 구축이 국가 경쟁력의 새로운 척도로 부상하고 있습니다. NVIDIA의 젠슨 황 CEO가 "모든 국가는 자국의 intelligence 생산을 소유해야 한다"고 선언한 것은 이러한 변화를 상징적으로 보여줍니다.

이러한 흐름 속에서 통신사업자들이 AI Factory의 핵심 운영자로 주목받고 있습니다. 이들은 대규모 인프라 운영 경험, 정부와의 신뢰 관계, 현지화 역량이라는 세 가지 핵심 경쟁력을 보유하고 있기 때문입니다. 이미 Fastweb, KT, KDDI 등 14개 주요 통신사가 AI Factory 구축 계획을 발표했으며, NVIDIA는 2024년 관련 시장이 100억 달러 규모가 될 것으로 전망하고 있습니다.

기술적으로도 혁신이 이루어지고 있습니다. GPU 클러스터가 새로운 컴퓨팅 단위로 자리잡았으며, 수랭식 냉각 시스템 도입으로 운영비용을 40% 이상 절감할 수 있게 되었습니다. 특히 AI-RAN 통합을 통한 네트워크 최적화는 통신사만이 제공할 수 있는 차별화 요소입니다.

그러나 도전 과제도 존재합니다. 사이버보안(49%)과 데이터 프라이버시(41%)가 가장 큰 걱정거리로 지적되고 있으며, IT 인프라 구축(38%)과 인재 확보(34%)도 해결해야 할 과제입니다.

AI Factory는 단순한 데이터센터를 넘어, 한 국가의 AI 생태계를 이끄는 핵심 인프라가 될 것입니다. GPU-as-a-Service에서 시작하여, 산업별 특화 서비스를 거쳐, 최종적으로는 통합 AI 플랫폼으로 발전할 것으로 예상됩니다. 이 과정에서 통신사들은 자국 AI의 수호자이자 혁신의 동반자로서 새로운 성장의 기회를 맞이하게 될 것입니다.

1. AI Factory가 온다

AI Factory란 무엇인가
NVIDIA 의 젠슨 황 CEO 가 2024 년 2 월 World Government Summit 에서 한 발언이 전 세계 AI 업계의 주목을 받고 있습니다. "모든 국가는 sovereign AI 가 필요하며, 자국의 intelligence 생산을 소유해야 한다"는 그의 선언은 AI 인프라의 새로운 전환점을 알리는 신호탄이 되었습니다.

AI Factory 는 데이터와 코드를 투입하면 intelligence 가 산출되는 현대 경제의 새로운 기반 시설을 의미합니다. 이는 단순한 데이터센터의 개념을 넘어섭니다. 자국의 언어와 문화, 법규를 반영한 AI모델을 개발하고 운영하는 종합 인프라로서, 한 국가의 AI 주권을 상징하는 핵심 시설이 되고 있습니다.

왜 지금인가
AI 의 발전 단계를 살펴보면 현재가 중요한 변곡점임을 알 수 있습니다. AI 는 예측, 생성, 행동이라는 세 단계로 진화하고 있습니다. 첫 단계인 예측 AI 는 네트워크 운영이나 예측 정비와 같은 트렌드 분석에 주로 활용되며, 이미 성숙 단계에 접어들었습니다. 현재는 생성형 AI 가 폭발적으로 성장하는 시기로, 데이터를 의미 있는 정보로 전환하는 강력한 도구로 자리잡고 있습니다. 앞으로는 AI 가 직접 행동을 취하는 행동형 AI 로 발전할 것으로 전망됩니다.

GSMA Intelligence 의 최신 조사 결과는 이러한 변화를 잘 보여줍니다. 통신사들의 AI 도입 현황을 분석한 데이터에 따르면, 기존의 Core AI 와 새로운 Generative AI 의 도입 양상에 주목할 만한 차이가 나타나고 있습니다.

특히 주목할 만한 점은 Generative AI 의 광범위 도입 비율(32%)이 Core AI(19%)보다 높다는 것입니다. 이는 생성형 AI 가 기업 운영에 더 즉각적인 가치를 제공할 수 있음을 시사합니다.

시장 규모와 전망
AI Factory 시장의 성장 가능성은 매우 큽니다. NVIDIA 는 2024 년 Sovereign AI 관련 매출이 100 억 달러에 달할 것으로 전망하고 있습니다. 이미 글로벌 주요 통신사들이 이 시장에 뛰어들고 있습니다. Fastweb, Indosat, KDDI, SoftBank 등 14 개 통신사가 AI Factory 구축 계획을 발표했으며, 특히 동남아시아와 유럽 지역에서 적극적인 움직임이 관찰되고 있습니다.

이러한 움직임은 단순한 트렌드가 아닌 필연적인 변화입니다. AI 가 산업 전반의 생산성을 좌우하는 핵심 요소로 자리잡으면서, 자국 AI 인프라 구축은 국가 경쟁력과 직결되는 문제가 되었기 때문입니다.

2. 통신사의 새로운 도전

AI Factory 구축 현황
통신사들의 AI Factory 구축은 단순한 인프라 확장이 아닌 새로운 비즈니스 모델로의 진화를 의미합니다. GSMA Intelligence 의 조사에 따르면, 통신사들이 AI 투자를 통해 달성하고자 하는 최우선 목표는 새로운 수익원 창출입니다. 이는 통신업계가 오랫동안 직면해 온 수익 성장의 한계를 극복하려는 노력의 일환으로 볼 수 있습니다.

주요 통신사 사례
선도적인 통신사들은 이미 구체적인 성과를 보여주고 있습니다. Fastweb 은 NeXXt AI Factory 를 통해 NVIDIA AI 슈퍼컴퓨터를 IaaS(Infrastructure as a Service) 형태로 제공하고 있습니다. KT 는 마이크로소프트와 협력하여 한국형 sovereign cloud 솔루션을 개발하고 있으며, 이를 통해 공공 부문과 규제 산업에 특화된 클라우드 및 AI 혁신을 주도하고 있습니다.

Orange 는 아프리카 지역 언어를 지원하기 위해 OpenAI 와 Meta 의 LLM 을 미세조정하는 작업을 진행 중입니다. 이는 현지화된 AI 서비스의 중요성을 보여주는 좋은 사례입니다. KDDI 는 한 걸음 더 나아가 지역 기업들의 생성형 AI 제품 도입을 지원하기 위한 컨설팅 서비스까지 제공하고 있습니다.

기대 효과
통신사들의 AI Factory 구축은 세 가지 측면에서 큰 의미를 가집니다.

첫째, 기술적 측면에서 통신사들은 이미 대규모 데이터센터 운영 경험을 보유하고 있습니다. 특히 5G 네트워크와 엣지 컴퓨팅 인프라를 결합한 저지연 AI 서비스 제공이 가능하다는 것이 큰 장점입니다.

둘째, 보안적 측면에서 통신사들은 이미 고객 데이터 보호와 규제 준수에 대한 높은 신뢰도를 확보하고 있습니다. GSMA Intelligence 조사에 따르면, 통신사들이 직면한 가장 큰 과제로 49%가 사이버보안을, 41%가 데이터 프라이버시를 꼽았는데, 이는 곧 이러한 분야에서의 전문성이 중요한 경쟁력이 될 것임을 시사합니다.

셋째, 사업적 측면에서 새로운 수익 모델 창출이 가능합니다. Supermicro 의 분석에 따르면, AI Factory 는 스타트업 지원에서부터 정부 서비스, 기업용 AI 애플리케이션까지 다양한 수요층을 확보할 수 있습니다. 특히 통신사의 5G 인프라와 결합된 엣지 AI 서비스는 자율주행, 스마트팩토리 등 초저지연이 필요한 분야에서 차별화된 가치를 제공할 수 있습니다.

3. 기술 인프라 혁신

GPU 클러스터 구축
통신사들의 AI Factory 구축에서 가장 핵심적인 요소는 고성능 GPU 클러스터 시스템입니다. Supermicro 가 제시하는 차세대 AI 최적화 시스템은 기존의 컴퓨팅 개념을 완전히 바꾸고 있습니다. 개별 컴퓨터가 아닌 GPU 클러스터가 새로운 컴퓨팅 단위가 되고 있는 것입니다.

특히 NVIDIA 의 HGX B200 시스템은 혁신적인 아키텍처를 보여줍니다. 8 개의 GPU 가 NVLink 로 연결되어 하나의 도메인을 형성하며, 8:2 의 GPU-to-CPU 비율을 통해 AI 워크로드에 최적화된 성능을 제공합니다. 여기에 Blackwell GPU 는 1kW 이상의 TDP 와 180GB 이상의 HBM3e 메모리를 지원하여, 대규모 AI 모델 학습에 필요한 강력한 성능을 제공합니다.

더욱 주목할 만한 것은 GB200 NVL72 시스템입니다. 이 시스템은 72 개의 GPU 를 하나의 NVLink 도메인으로 통합하여, 마치 하나의 거대한 GPU 처럼 작동합니다. 4-to-2 GPU-to-CPU 비율로 설계된 이 시스템은 대규모 AI 트레이닝에 최적화되어 있습니다.

냉각 시스템 혁신
AI Factory 의 성능 향상은 필연적으로 열 관리 문제를 동반합니다. Supermicro 는 이 문제를 혁신적인 수랭식 냉각 시스템으로 해결하고 있습니다. 전통적인 공랭식 시스템과 비교할 때, 수랭식 시스템은 운영비용을 40% 이상 절감할 수 있습니다.

이러한 효율성 향상은 Direct-to-Chip 냉각판 기술을 통해 가능해졌습니다. 칩에 직접 냉각수를 공급하는 이 방식은 시스템 팬 가동을 최소화하여 추가적인 전력 절감 효과도 가져옵니다. 특히 고무적인 것은 이러한 수랭식 시스템의 투자비용이 평균 1 년 이내에 회수된다는 점입니다.

네트워크 최적화
AI Factory 의 네트워크 구조는 크게 세 개의 핵심 레이어로 구성됩니다. 먼저 인밴드/데이터 이더넷은 애플리케이션 서버와 코어 네트워크를 연결하는 중추 역할을 합니다. 여기에 InfiniBand 패브릭이 GPU 클러스터 내부의 초고속, 초저지연 통신을 담당하며, 최대 400G NDR 의 속도를 지원합니다.

스토리지 시스템도 주목할 만한 혁신을 보여줍니다. All Flash 스토리지와 객체 스토리지의 조합은 초당 1TB 의 읽기와 280GB 의 쓰기 성능을 제공합니다. 이는 대규모 AI 모델 학습에 필요한 데이터를 지연 없이 공급할 수 있는 수준입니다.

특히 통신사들은 이러한 인프라를 AI-RAN(Radio Access Network) 구조와 통합하여 추가적인 가치를 창출하고 있습니다. AI 와 RAN 의 통합은 네트워크 자산 활용도를 높이고, 새로운 AI 애플리케이션을 지원하며, 전반적인 네트워크 효율성을 향상시키는 데 기여하고 있습니다.

4. 사업 기회와 도전

수익 모델
통신사들의 AI Factory 수익 모델은 크게 세 가지 방향으로 발전하고 있습니다. GSMA Intelligence 의 조사 자료를 보면, 이러한 수익 모델들은 상호 배타적이지 않으며, 많은 통신사들이 복수의 모델을 동시에 추진하고 있습니다.

첫째는 AI 연결성 제공자로서의 역할입니다. Verizon 의 사례를 보면, NVIDIA 와 협력하여 사설 5G 네트워크와 엣지 컴퓨팅 인프라를 통해 AI 워크로드를 지원하고 있습니다. Lumen 도 데이터센터 간 데이터 전송을 위한 광통신망을 제공하며 AI 워크로드를 지원하고 있습니다.

둘째는 AI 컴퓨팅 제공자 모델입니다. Fastweb 의 NeXXt AI Factory 가 대표적인 사례로, NVIDIA AI 슈퍼컴퓨터를 IaaS 형태로 제공하고 있습니다. SoftBank 는 한 걸음 더 나아가 RAN 실리콘을 통해 비(非)RAN AI 워크로드를 처리하는 혁신적인 시도를 하고 있습니다.

셋째는 AI 솔루션 파트너 모델입니다. Orange 는 아프리카 지역 언어 지원을 위해 AI 모델을 개발하고 있으며, KDDI 는 지역 기업들의 생성형 AI 도입을 지원하는 컨설팅 서비스를 제공하고 있습니다.

시장 진입 전략
통신사들의 시장 진입은 단계적으로 이루어지고 있습니다. GSMA Intelligence 의 조사에 따르면, 성공적인 시장 진입을 위해서는 다음과 같은 투자가 필요한 것으로 나타났습니다.

극복해야 할 과제
통신사들이 직면한 가장 큰 도전 과제는 사이버보안(49%)과 데이터 프라이버시(41%) 문제입니다. 여기에 IT 인프라(38%), 인재 부족(34%), 데이터 품질(30%), 규제 준수(28%) 등의 문제도 해결해야 할 과제로 지적되고 있습니다.

특히 주목할 만한 것은 전력 관리 문제입니다. Supermicro 의 분석에 따르면, AI 시스템의 고성능화로 인해 전력 소비가 급증하고 있어, 이를 위한 혁신적인 냉각 솔루션이 필수적입니다. 수랭식 냉각 시스템의 도입으로 운영비용을 40% 이상 절감할 수 있지만, 이를 위한 초기 투자 비용도 상당한 수준입니다.

5. 미래 전망

단계별 발전 방향
AI Factory 의 발전은 세 단계로 진화할 것으로 전망됩니다. 이는 젠슨 황 CEO 의 "모든 국가는 자국의 intelligence 생산을 소유해야 한다"는 비전이 실현되어가는 과정이기도 합니다.

첫 단계는 'GPU-as-a-Service' 단계입니다. 현재 대부분의 통신사들이 이 단계에 있으며, AI 개발자들과 스타트업들에게 기본적인 컴퓨팅 인프라를 제공하는 데 중점을 두고 있습니다. Fastweb 의 NeXXt AI Factory 가 대표적인 사례입니다.

두 번째 단계는 '산업별 특화 서비스' 단계입니다. KT 와 마이크로소프트의 협력처럼, 공공부문과 규제산업에 특화된 sovereign cloud 서비스를 제공하는 단계입니다. 이 단계에서는 각 산업의 특수성을 반영한 AI 서비스가 발전하게 됩니다.

세 번째 단계는 '통합 AI 플랫폼' 단계입니다. 이 단계에서는 통신사의 5G 네트워크, 엣지 컴퓨팅, AI-RAN 이 하나로 통합되어 완전한 형태의 국가 AI 인프라로 발전하게 됩니다.

새로운 서비스 영역

① Supermicro 의 분석에 따르면, AI Factory 를 통해 제공될 수 있는 서비스는 크게 네 가지 영역으로 확장될 것으로 예상됩니다.
② 스타트업 지원: 지역 혁신기업들이 글로벌 시장에서 경쟁할 수 있도록 지원
③ 정부 서비스: 자국 인프라, 데이터, 인력을 활용한 AI 서비스 제공
④ 기업 생산성 향상: AI 를 통한 기업 경쟁력 강화 지원
⑤ 생성형 AI 앱: 모든 앱이 AI 를 도입하는 시대에 필요한 인프라 제공

성공을 위한 제언
통신사들이 AI Factory 사업에서 성공하기 위해서는 다음과 같은 요소들에 집중해야 합니다.

첫째, 기술 인프라의 최적화입니다. Supermicro 가 제시하는 것처럼, 수랭식 냉각 시스템 도입으로 운영비용을 40% 절감하고, GPU 클러스터의 효율적 구성으로 성능을 최적화해야 합니다.

둘째, 보안과 규제 대응 역량입니다. GSMA Intelligence 조사에서 나타난 것처럼, 사이버보안(49%)과 데이터 프라이버시(41%)는 가장 중요한 과제입니다.

셋째, 파트너십 전략입니다. Orange 의 아프리카 언어 모델 개발이나 KDDI 의 기업 컨설팅 서비스처럼, 다양한 파트너들과의 협력을 통해 서비스 가치를 높여야 합니다.

AI Factory 는 단순한 인프라 사업이 아닌, 국가 AI 경쟁력의 핵심 기반이 될 것입니다. 통신사들은 이러한 거시적 관점에서 전략을 수립하고 실행해 나가야 할 것입니다.

[ⓒ META-X. 무단전재-재배포 금지]