오픈소스 vLLM 기반 AI 추론 병목 해소에 올인
“AI 추론을 서버리스처럼” 선언

오픈소스 LLM 추론 엔진 vLLM의 핵심 창립·유지보수 멤버들이 AI 추론 전문 스타트업 Inferact를 공식 출범시켰다. Inferact는 대규모 언어모델 경쟁의 무게중심이 학습(training)에서 추론(inference)으로 이동하고 있다는 판단 아래, 모델 성능이 인프라 한계에 가로막히지 않는 환경을 구현하겠다는 비전을 제시했다.

Inferact는 2026년 1월 출범과 함께 Simon Mo, Woosuk Kwon, Kaichao You, Roger Wang, Joseph Gonzalez, Ion Stoica 등 vLLM 생태계를 이끌어온 핵심 인물들이 창립 멤버로 참여했음을 밝혔다. 이들은 “AI 추론은 아직 해결되지 않은 문제이며, 오히려 모델이 진화할수록 더 어려워지고 있다”는 공통 인식 아래, 추론 인프라를 더 이상 병목이 아닌 기본 인프라 계층으로 전환하겠다는 방향성을 명확히 했다.

Inferact가 지목한 구조적 문제는 모델과 시스템 사이의 역량 격차다. MoE, 멀티모달, 에이전트형 아키텍처 확산으로 추론 복잡도는 급증하고 있지만, 하드웨어는 GPU·NPU·전용 가속기 등으로 파편화되고 있고, 테스트 타임 컴퓨트와 강화학습 루프, 합성 데이터 생성 확대로 전체 연산에서 추론 비중은 빠르게 커지고 있다. 그 결과 이론적으로 가능한 모델 성능과 실제 서비스 성능 사이의 간극이 산업 전반의 발목을 잡고 있다는 것이 Inferact의 진단이다.

Inferact의 해법은 ‘복잡성 제거’가 아니라 ‘복잡성의 은닉’이다. 하드웨어 조합, 스케줄링, 메모리 관리, 병렬화 전략 같은 난제를 개발자가 직접 다루지 않아도 되도록 인프라 내부로 흡수하고, 사용자는 서버리스 데이터베이스처럼 추론 인프라를 거의 의식하지 않은 채 모델과 서비스 로직에만 집중할 수 있게 하겠다는 구상이다. 이는 AI 추론을 전문 인프라 조직의 영역에서 범용 개발 인프라로 끌어내리겠다는 선언에 가깝다.

이 같은 자신감의 배경에는 vLLM이 차지해온 독특한 생태계적 위치가 있다. vLLM은 500개 이상의 모델 아키텍처와 200개 이상의 가속기 타입을 지원하며, 프런티어 연구소와 하이퍼스케일러, 대형 AI 스타트업의 대규모 추론 환경에서 검증돼 왔다. 신규 모델 아키텍처와 신형 실리콘이 등장할 때마다 vLLM이 사실상의 표준 통합 지점으로 작동해 왔다는 점에서, Inferact 팀은 모델 벤더와 하드웨어 벤더가 만나는 교차점에 장기간 서 있었다는 평가를 받는다.

Inferact는 출범과 동시에 “vLLM은 계속 오픈소스로 유지된다”는 원칙도 분명히 했다. Inferact가 개발한 성능 최적화 기술은 커뮤니티로 환류되고, 신규 모델 아키텍처와 하드웨어 지원 역시 오픈소스 생태계 안에서 확장된다는 방침이다. 이는 AI 추론 인프라를 특정 기업의 폐쇄적 자산이 아니라 산업 공통 기반으로 남겨야 한다는 문제의식의 반영이다.

시장 반응도 빠르게 나타났다. Inferact는 출범과 동시에 누적 1억5천만 달러의 투자를 유치하며 기업가치 8억 달러를 인정받았고, Andreessen Horowitz, Lightspeed Venture Partners를 비롯해 Sequoia, Altimeter, Redpoint, ZhenFund, Databricks Ventures 등이 투자자로 참여했다. 이는 “모델 이후의 전쟁터는 추론”이라는 인식이 투자 시장에서도 본격적으로 공유되고 있음을 보여주는 신호로 해석된다.

Inferact의 등장은 AI 경쟁의 기준이 파라미터 수나 모델 크기에서, 얼마나 잘 확장하고 얼마나 낮은 비용과 높은 안정성으로 추론을 제공할 수 있는지로 이동하고 있음을 시사한다. 추론이 서버리스처럼 제공되는 환경이 현실화될 경우, 프런티어 모델 접근성은 소수 빅테크의 전유물이 아니라 기본 옵션으로 전환될 가능성이 크다. 모델이 인프라를 기다리던 시대에서, 인프라가 모델을 따라가는 시대로의 전환이 본격적으로 시작됐다는 점에서 Inferact의 출범은 상징적 분기점으로 평가된다.