AI 경쟁의 다음 무기는 ‘정답’이 아니라 ‘초당 처리량’이다

OpenAI가 GPT-5.6 Sol을 최대 14배 빠르게 구동하는 새 서비스 티어 Ultrafast를 공개했다.

OpenAI는 2026년 8월 13일, Ultrafast의 초기 프리뷰를 발표했다. Ultrafast는 GPT-5.6 Sol을 Standard processing보다 최대 14배 빠르게 실행하는 서비스 티어다. 먼저 OpenAI API에서 제공되며, Cerebras 기반으로 최대 초당 750개 output token을 생성한다고 설명했다.

짧게 말하면, OpenAI가 프런티어 모델의 경쟁축을 다시 바꾸려 하고 있다.

지금까지 고성능 AI 모델은 똑똑하지만 느리다는 인식이 강했다. 복잡한 추론, 긴 문맥 이해, 다단계 도구 사용, 코드 작성, 연구 분석은 시간이 걸렸다. 그래서 실시간 응답이 중요한 제품에서는 더 작은 모델이나 특정 작업에 최적화된 모델을 선택해야 했다.

OpenAI는 Ultrafast를 통해 이 타협을 줄이려 한다.

더 빠른 AI를 쓰려면 덜 똑똑한 모델을 골라야 한다는 전제를 깨겠다는 것이다. GPT-5.6 Sol 같은 최상위 모델을 실시간에 가까운 속도로 제공하면, AI가 들어갈 수 있는 업무 영역이 달라진다.

핵심은 단순한 속도 향상이 아니다.

OpenAI가 강조한 표현은 “more useful work per second”다. 초당 더 많은 유용한 일을 처리하는 능력이다. 이는 AI 모델 경쟁이 정확도와 벤치마크 점수에서, 실제 업무 시간 안에 얼마나 많은 판단과 실행을 끝낼 수 있는지의 경쟁으로 이동하고 있음을 보여준다.

왜 속도가 지능만큼 중요해졌나

AI 모델 경쟁은 오랫동안 지능의 경쟁이었다.

누가 더 어려운 수학 문제를 풀 수 있는가.
누가 더 긴 코드를 작성할 수 있는가.
누가 더 복잡한 문서를 이해하는가.
누가 더 높은 벤치마크 점수를 내는가.

그러나 기업 업무에서 지능만으로는 부족하다.

현장에서는 시간이 곧 가치다. 장애가 발생했을 때 10분 뒤의 정답은 늦을 수 있다. 고객 상담 중 30초 동안 침묵하는 AI는 쓸모가 줄어든다. 금융 시장이 움직이는 순간에는 몇 초 차이가 판단의 의미를 바꾼다. 온라인 쇼핑에서는 사용자가 결제를 망설이는 짧은 시간 안에 답을 제공해야 한다.

지능이 높아도 느리면 업무 흐름에 들어가지 못한다.

그래서 기업들은 빠른 모델과 똑똑한 모델 사이에서 선택해야 했다. 복잡한 문제는 큰 모델에 맡기고, 실시간 제품에는 작은 모델을 붙이는 식이었다. 이 구조에서는 사용자가 어려운 질문을 할수록 응답 지연이 커지고, 제품 경험은 끊긴다.

Ultrafast가 겨냥하는 지점은 바로 이 병목이다.

실시간 제품에도 최상위 지능을 넣겠다는 것이다.

이 변화가 가능해지면 AI는 백오피스 분석 도구에서 프런트라인 업무 도구로 이동한다. 사람이 기다릴 수 있는 작업뿐 아니라, 사람이 기다리지 않는 상황에도 들어간다.

Incident response: 장애가 진행 중일 때 원인을 좁히는 AI

OpenAI가 제시한 대표 사례는 incident response와 reliability다.

시스템 장애가 발생하면 엔지니어는 동시에 많은 정보를 봐야 한다. 애플리케이션 로그, 최근 코드 변경, 배포 이력, 알림, trace, 모니터링 지표, 엔지니어 간 대화가 한꺼번에 쏟아진다. 문제는 이 정보들이 고정되어 있지 않다는 점이다. 장애가 진행되는 동안 로그는 계속 쌓이고, 가설은 바뀌고, 새로운 신호가 들어온다.

이런 상황에서 AI가 느리면 도움은 제한적이다.

장애 대응은 이미 지나간 사건을 정리하는 업무가 아니다. 장애가 진행 중인 동안 원인을 좁히고, 다음 확인 항목을 정하고, 수정안을 준비하고, 배포 여부를 판단해야 한다.

OpenAI는 내부에서도 Ultrafast를 incident response에 테스트하고 있다고 설명했다. 알림이 발생하면 개발자들이 로그를 읽고, trace를 분석하고, 대화를 종합하고, 다음 점검 항목을 식별하고, 수정안을 준비하거나 검증하는 데 사용한다는 것이다. 중요한 점은 엔지니어가 판단과 배포 책임을 계속 갖는다는 설명이다.

이 대목은 AI 운영 자동화의 현실적 방향을 보여준다.

AI가 장애를 자동으로 고치고 배포한다기보다, 신호 관찰과 가설 검증, 다음 행동 선택 사이의 지연을 줄인다. 즉 인간의 판단을 대체하기보다 판단에 도달하는 시간을 줄이는 역할이다.

장애 대응에서 속도는 곧 피해 감소다.

Ultrafast가 의미 있는 이유는 여기 있다.

금융·보안: 시장과 위험은 기다려주지 않는다

OpenAI는 금융 연구와 보안도 Ultrafast의 활용 영역으로 제시했다.

금융 시장은 실시간으로 움직인다. 뉴스, 가격, 거래량, 기업 공시, 매크로 지표, 소셜 신호가 빠르게 변한다. 보안 영역도 마찬가지다. 의심 거래, 계정 탈취, 이상 행위, 네트워크 신호는 시간이 지나면 피해로 이어질 수 있다.

이런 업무에서 AI의 역할은 단순 요약이 아니다.

시장 신호를 분석하고, 거래를 평가하고, 의심 활동을 식별하고, 변화하는 조건 속에서 판단을 보조해야 한다. 느린 모델은 사후 보고서 작성에는 유용할 수 있지만, 실시간 대응에는 부족하다.

Rogo의 Applied AI 담당자는 Ultrafast가 복잡한 금융 연구를 실시간 상호작용처럼 느끼게 만든다고 평가했다. 이는 금융 리서치 업무의 사용 경험을 바꿀 수 있다. 밤새 분석을 돌리고 다음 날 보고서를 받는 구조가 아니라, 분석가가 질문하고, 모델이 즉시 결과를 내고, 다시 조건을 바꾸고, 재분석하는 대화형 리서치가 가능해진다는 의미다.

보안에서도 비슷하다.

이상 거래를 발견한 뒤 몇 분 뒤 분석하는 것과, 거래가 진행되는 순간 위험을 평가하는 것은 다르다. 공격자가 움직이는 동안 로그를 읽고 대응 가설을 제시하는 것과, 사고가 끝난 뒤 포렌식 보고서를 쓰는 것도 다르다.

Ultrafast의 메시지는 명확하다.

AI가 시간 민감 업무에 들어가려면 똑똑하기만 해서는 안 된다.

빨라야 한다.

고객지원과 음성 AI: 대화가 끊기지 않아야 한다

고객지원과 음성 AI는 속도 문제가 가장 직접적으로 드러나는 영역이다.

사용자는 대화 중에 기다리지 않는다. 특히 음성 상담에서는 침묵이 길어지는 순간 경험이 무너진다. 단순 FAQ라면 작은 모델로도 빠르게 답할 수 있다. 하지만 실제 고객 문제는 복잡하다. 주문 내역을 확인하고, 정책을 찾아보고, 시스템 상태를 조회하고, 예외를 판단하고, 해결 절차를 제안해야 한다.

이때 필요한 것은 빠른 모델이면서 동시에 지능적인 모델이다.

Podium의 Voice AI 제품 담당자는 Ultrafast가 voice stack에서 매우 중요했고, 복잡한 업무의 통화 경험을 완전히 바꿨다고 평가했다. 이는 음성 AI가 단순 응답봇에서 실제 문제 해결형 상담원으로 이동하려면 지연 시간이 핵심이라는 점을 보여준다.

음성 AI에서 1초는 길다.

모델이 여러 시스템을 조회하고 추론하는 동안 사용자가 기다려야 한다면, 대화는 자연스럽지 않다. 반대로 프런티어 모델이 실시간 속도로 복잡한 문제를 처리할 수 있다면, 고객지원 자동화의 범위는 크게 넓어진다.

지금까지 기업은 고객지원에서 속도와 정확성 사이에서 타협했다. 빠른 챗봇은 단순 질문에 강하지만 복잡한 문제에 약했다. 똑똑한 모델은 복잡한 문제에 강하지만 응답이 느렸다. Ultrafast는 이 둘 사이의 간극을 줄이려는 시도다.

고객지원 AI의 경쟁력은 더 이상 답변 품질만이 아니다.

대화 리듬을 유지하는 능력이다.

커머스: 장바구니 이탈 전 답해야 한다

커머스에서도 속도는 매출과 직결된다.

사용자가 제품을 보고 있을 때 궁금한 점이 생긴다. 재고가 있는지, 배송은 언제 되는지, 내 상황에 맞는지, 다른 제품과 어떤 차이가 있는지, 결제 오류는 어떻게 해결하는지 알고 싶어 한다. 이때 답이 늦으면 사용자는 망설이다가 이탈한다.

OpenAI는 Ultrafast가 제품 질문에 답하고, 재고를 확인하고, 추천을 개인화하고, 결제 문제를 해결하는 데 쓰일 수 있다고 설명했다. 핵심은 “shopper가 아직 결정 중일 때” 답하는 것이다. 망설임이 장바구니 이탈로 바뀌기 전에 개입해야 한다.

이는 커머스 AI의 역할 변화를 보여준다.

기존 추천 시스템은 주로 상품을 보여줬다.
챗봇은 주로 문의를 처리했다.
Ultrafast 같은 고속 프런티어 모델은 구매 의사결정 중간에 실시간 조언자처럼 들어갈 수 있다.

사용자가 “이 노트북으로 영상 편집이 가능한가”, “이 사이즈가 나에게 맞을까”, “이번 주 안에 받을 수 있나”, “이 쿠폰이 왜 적용되지 않나”라고 물으면, 모델은 상품 정보와 재고, 배송, 사용자 맥락, 정책을 동시에 봐야 한다. 여기서 느리면 판매 기회를 놓친다.

AI가 커머스의 전환율을 높이려면, 답이 정확해야 할 뿐 아니라 구매 흐름 안에서 즉시 나와야 한다.

Ultrafast는 이 실시간성을 겨냥한다.

연구와 실험: 밤새 돌리던 루프가 근무시간 안으로 들어온다

OpenAI가 제시한 또 다른 중요한 사례는 live research and experimentation이다.

연구와 실험 업무는 반복 루프다. 가설을 세운다. 데이터를 모은다. 실험을 돌린다. 결과를 본다. 다시 가설을 수정한다. 많은 조직에서 이 루프는 하루 단위로 움직인다. 밤새 batch experiment를 돌리고, 아침에 결과를 보고, 다시 실험을 설계한다.

OpenAI는 Ultrafast를 통해 이 루프가 근무시간 안에서 여러 번 반복될 수 있다고 설명했다. 지식 소스를 빠르게 검색하고, 데이터를 질의하고, 연결된 도구 전반에서 정보를 수집·정리·요약하는 데 활용한다는 것이다.

이 변화는 연구 생산성에 큰 의미가 있다.

속도가 빨라지면 질문의 방식이 달라진다. 느린 시스템에서는 질문을 신중하게 모아 한 번에 던진다. 빠른 시스템에서는 생각하면서 질문하고, 결과를 보며 즉시 수정하고, 다음 실험을 이어간다.

AI가 빠르면 사용자는 흐름을 잃지 않는다.

이는 단순 시간 절약이 아니다. 사고 방식의 변화다. overnight batch에서 interactive loop로 이동하면, 연구자는 더 많은 가설을 시험하고, 실패를 더 빨리 확인하고, 아이디어를 더 자주 수정할 수 있다.

Ultrafast가 말하는 “more useful work per second”는 이 지점에서 가장 잘 드러난다.

초당 토큰 수가 늘어나는 것이 아니라, 하루 동안 가능한 실험 횟수가 늘어나는 것이다.

Cerebras와의 결합이 갖는 의미

Ultrafast는 Cerebras 기반으로 제공된다.

OpenAI는 이를 Cerebras와의 파트너십의 다음 단계라고 설명했다. Cerebras는 초저지연 inference를 OpenAI 플랫폼에 제공하고, GPT-5.6 Sol Ultrafast 모드에서 최대 초당 750 output token을 지원한다.

이 대목은 AI 인프라 경쟁의 변화를 보여준다.

모델 경쟁은 더 이상 모델 파일만의 경쟁이 아니다. 어떤 하드웨어에서, 어떤 추론 스택으로, 어떤 지연 시간과 비용으로, 어떤 SLA에 가깝게 제공하느냐가 중요하다. 기업 고객은 단순히 “가장 똑똑한 모델”을 원하는 것이 아니다. 제품 안에 넣을 수 있는 속도, 안정성, 비용 구조를 원한다.

Cerebras의 역할은 여기서 전략적이다.

GPU 중심 인프라만으로는 모든 요구를 해결하기 어렵다. 특히 초저지연과 높은 output token throughput이 중요한 워크로드에서는 특화된 inference 인프라가 경쟁력이 될 수 있다. OpenAI가 GPT-5.6 Sol 같은 최상위 모델을 Cerebras 기반 Ultrafast로 제공한다는 것은, 프런티어 모델의 사용처를 실시간 제품으로 확장하려는 인프라 전략이다.

AI 산업의 경쟁은 이제 세 층에서 동시에 벌어진다.

모델 성능.
추론 비용.
실시간 처리 속도.

Ultrafast는 이 세 층을 하나로 묶은 상품이다.

Fast mode와 Ultrafast의 차이

OpenAI는 이미 API 고객에게 Fast mode를 제공하고 있다. Fast mode는 gpt-5.6-sol 기준으로 최대 2.5배 빠른 속도를 제공하는 유료 고속 처리 방식이다. 그러나 Ultrafast는 이보다 더 공격적인 속도 계층이다.

Fast mode가 안정적이고 예측 가능한 고속 처리라면, Ultrafast는 Cerebras 기반으로 Standard 대비 최대 14배 속도와 초당 750 output token을 강조한다.

이 차이는 제품 포지셔닝에서도 드러난다.

Fast mode는 기존 API 워크로드의 latency를 개선하는 옵션에 가깝다.
Ultrafast는 모델 사용 방식을 바꾸는 새 speed class로 제시된다.

즉 Ultrafast는 단순히 “조금 더 빠른 API”가 아니다. OpenAI는 이를 통해 새로운 제품과 업무 흐름을 가능하게 하려 한다. 실시간 음성, 장애 대응, 금융 연구, 커머스, live experimentation처럼 속도가 곧 사용 가능성을 결정하는 영역을 겨냥한다.

이는 OpenAI의 API 비즈니스에도 의미가 있다.

AI 모델 가격 경쟁이 심해질수록 단순 token price만으로는 차별화가 어렵다. OpenAI는 모델 지능, 비용 효율, 속도 계층을 나눠 기업 고객에게 더 세분화된 선택지를 제공하려 한다.

앞으로 API 시장은 “어떤 모델을 쓸 것인가”뿐 아니라 “어떤 속도 계층에서 쓸 것인가”의 시장이 될 수 있다.

초기 고객들이 말하는 변화

OpenAI는 Jane Street, Podium, Basis, Rogo 등 초기 고객 사례를 공개했다.

Jane Street는 Cerebras가 가져온 속도 향상이 인상적이며, 모델을 사용하는 다른 방식이 가능해지고 개발자가 더 집중적이고 생산적으로 함께 일할 수 있게 한다고 평가했다. Podium은 voice stack에서 Ultrafast가 매우 가치 있었고, 속도가 복잡한 업무의 통화 경험을 바꾼다고 했다. Basis는 빠른 제품의 장벽이 단순 tokens per second가 아니라 model intelligence에도 있다며, Ultrafast가 속도와 지능을 결합한다고 평가했다. Rogo는 속도가 제품 느낌만 좋게 만드는 것이 아니라, 사람들이 현실적으로 무엇에 사용할 수 있는지를 바꾼다고 말했다.

이 고객 반응에서 공통적으로 드러나는 것은 “속도는 기능을 바꾼다”는 점이다.

느린 AI는 사후 분석 도구다.
빠른 AI는 실시간 협업자다.
느린 AI는 사용자가 기다릴 수 있는 업무에 들어간다.
빠른 AI는 사용자가 기다리지 않는 업무에 들어간다.

특히 Basis의 언급은 중요하다.

많은 사람은 AI 제품의 속도 문제를 tokens per second로만 본다. 하지만 실제로는 모델이 똑똑하지 않으면 빠른 응답도 쓸모가 없다. 반대로 모델이 똑똑해도 느리면 제품 경험이 끊긴다. Ultrafast가 내세우는 차별점은 이 둘을 결합했다는 점이다.

지능과 속도의 동시 확보.

이것이 OpenAI가 말하는 새 speed class의 본질이다.

기업 AI의 병목은 ‘기다림’이다

기업 업무에서 AI 도입의 숨은 병목은 기다림이다.

사용자는 질문을 던지고 기다린다.
개발자는 분석 결과를 기다린다.
상담원은 고객 앞에서 시스템 응답을 기다린다.
연구자는 밤새 실험 결과를 기다린다.
보안팀은 로그 분석과 위험 판단을 기다린다.

AI가 이 기다림을 줄이면, 단순한 효율 향상을 넘어 업무 설계가 바뀐다.

예를 들어 장애 대응에서는 incident commander가 모델에게 “최근 배포와 에러 로그를 비교해 원인 후보를 좁혀줘”라고 요청하고 곧바로 다음 점검으로 넘어갈 수 있다. 금융 분석가는 “이 뉴스와 가격 움직임을 반영해 리스크 시나리오를 다시 비교해줘”라고 말하며 대화형으로 분석을 이어갈 수 있다. 고객지원 상담은 사용자를 기다리게 하지 않고 복잡한 문제를 처리할 수 있다.

기다림이 줄어들면 AI는 업무 외부의 분석 도구에서 업무 내부의 동반자로 들어간다.

속도는 단순 체감 품질이 아니다.

업무 흐름에 들어가기 위한 입장권이다.

안전과 책임의 문제

하지만 빠른 프런티어 모델은 새로운 책임도 만든다.

AI가 더 빨리 답할수록 더 많은 업무에 실시간으로 관여한다. 장애 대응, 금융 보안, 고객지원, 커머스, 연구 실험은 모두 영향이 큰 영역이다. 빠른 모델이 잘못된 판단을 빠르게 확산시키면 피해도 빨라질 수 있다.

OpenAI는 내부 사용 사례에서 엔지니어가 판단과 배포 책임을 유지한다고 설명했다. 이 점은 중요하다. Ultrafast가 아무리 빠르더라도, 실제 조치의 책임은 사람과 조직의 프로세스 안에 남아야 한다.

특히 incident response에서 AI가 수정안을 제안하더라도 운영 배포는 사람이 판단해야 한다. 금융·보안에서는 AI의 의심 활동 판단이 자동 차단이나 거래 거부로 이어질 때 오탐 피해를 고려해야 한다. 고객지원에서는 AI가 잘못된 정책 안내를 빠르게 제공하면 신뢰 문제가 생긴다. 커머스에서는 과도한 개인화나 부적절한 추천이 문제될 수 있다.

속도는 양날의 칼이다.

좋은 판단을 빨리 전달하면 가치가 크다.
나쁜 판단을 빨리 전달하면 위험도 커진다.

따라서 Ultrafast 같은 서비스가 확산될수록, 기업은 모델 응답 속도만이 아니라 승인 절차, 로그, 감사, 사람의 개입 지점, 책임 경계를 함께 설계해야 한다.

한국 기업에 주는 시사점

한국 기업에도 Ultrafast의 의미는 크다.

많은 기업이 생성형 AI를 도입했지만, 아직은 보고서 작성, 요약, 번역, 챗봇, 코드 보조처럼 비교적 비동기적이고 저위험 업무에 머무는 경우가 많다. 이유 중 하나는 속도다. 복잡한 모델을 실시간 고객 경험이나 운영 대응에 넣기에는 지연 시간이 부담이었다.

Ultrafast 같은 속도 계층이 확산되면 적용 영역이 달라질 수 있다.

통신사는 장애 대응과 네트워크 로그 분석에 사용할 수 있다.
금융사는 이상 거래 탐지와 실시간 리서치 보조에 활용할 수 있다.
유통사는 구매 결정 중인 고객에게 실시간 상품 상담을 제공할 수 있다.
제조사는 설비 로그와 품질 데이터를 실시간으로 분석할 수 있다.
고객센터는 음성 상담 중 복잡한 문의를 즉시 해결할 수 있다.
연구조직은 하루 단위 실험 루프를 시간 단위로 줄일 수 있다.

다만 한국 기업은 도입 전에 몇 가지를 확인해야 한다.

첫째, 빠른 응답이 필요한 업무와 그렇지 않은 업무를 구분해야 한다. 모든 업무에 Ultrafast가 필요한 것은 아니다.

둘째, 속도 프리미엄과 비용 대비 효과를 계산해야 한다. 초저지연이 매출, 장애 복구 시간, 고객 만족, 연구 반복 횟수에 어떤 영향을 주는지 봐야 한다.

셋째, 실시간 AI 판단의 책임 체계를 마련해야 한다. 특히 금융, 의료, 보안, 공공 영역에서는 사람의 승인과 감사 로그가 필요하다.

넷째, 데이터 연결 구조를 설계해야 한다. Ultrafast가 가치를 내려면 모델이 로그, 지식베이스, 재고, 고객정보, 코드 변경, 실험 데이터에 빠르게 접근할 수 있어야 한다.

다섯째, 업무 프로세스를 바꿔야 한다. 빠른 모델을 도입하고도 사람이 하루 단위로 검토한다면 효과는 제한적이다.

AI 속도 혁신은 모델 교체만으로 끝나지 않는다.

조직의 일하는 방식까지 바꿔야 한다.

결론: AI의 가치는 초당 얼마나 많은 일을 끝내는가로 측정된다

OpenAI의 Ultrafast 프리뷰는 AI 산업의 다음 경쟁축을 보여준다.

GPT-5.6 Sol은 OpenAI의 최상위 모델이다. Ultrafast는 이 모델을 Standard processing 대비 최대 14배 빠르게 실행하고, Cerebras 기반으로 최대 초당 750개 output token을 생성한다. 먼저 OpenAI API에서 제한된 고객에게 제공되며, 용량이 늘어나는 대로 접근을 확대할 예정이다.

이 발표의 본질은 속도다.

그러나 단순히 답변이 빨라진다는 이야기가 아니다. 더 빠른 모델은 AI가 들어갈 수 있는 업무 영역을 바꾼다. 장애가 진행 중일 때 로그를 분석하고, 고객이 통화 중일 때 복잡한 문제를 해결하고, 쇼핑객이 결정을 내리기 전에 재고와 추천을 제공하고, 금융 시장이 움직이는 동안 리서치를 보조하고, 밤새 돌리던 연구 루프를 근무시간 안에서 반복하게 만든다.

지금까지 AI 경쟁은 주로 “누가 더 똑똑한가”였다.

이제 질문은 바뀌고 있다.

누가 더 똑똑한 모델을 더 빠르게 제공할 수 있는가.
누가 지능을 포기하지 않고 실시간 제품에 넣을 수 있는가.
누가 초당 더 많은 유용한 일을 끝낼 수 있는가.

OpenAI가 Ultrafast를 “new speed class for frontier intelligence”라고 부르는 이유가 여기에 있다.

프런티어 지능이 실시간 속도를 얻으면, AI는 사후 분석 도구에서 업무 현장의 즉시 대응 도구로 이동한다. 하지만 그만큼 책임도 커진다. 빠른 판단은 빠른 오류가 될 수도 있다. 따라서 기업은 속도와 함께 검증, 승인, 감사, 책임 체계를 설계해야 한다.

AI의 다음 승부처는 정답만이 아니다.

정답에 도달하는 시간이다.

그리고 더 정확히는, 그 시간 안에 실제 업무를 얼마나 끝낼 수 있느냐다.