구글, 실시간 세계모델 Genie 4 공개…영상 생성 넘어 상호작용 시뮬레이션으로

자연어로 장면을 바꾸고 소리·대화까지 실시간 생성…로봇과 AI 에이전트의 훈련 환경으로도 확장 시도

구글 딥마인드가 이용자의 행동에 반응해 영상과 소리를 실시간으로 생성하는 세계모델 ‘Genie 4’를 공개했다. 구글은 2026년 10월 27일 공식 발표에서 일부 신뢰된 테스터에게 Genie 4 연구 프리뷰를 제공하기 시작했다고 밝혔다. Google AI Ultra 가입자가 이용하는 Project Genie와 Gemini API·Google AI Studio 조기 이용 파트너에게도 순차적으로 제공할 예정이다.

이번 발표는 일반 이용자를 대상으로 한 정식 출시가 아니다. 구체적인 확대 일정과 API 가격, 지역별 지원 범위도 나오지 않았다. 현재 성능을 판단할 수 있는 자료는 구글이 공개한 시연과 초기 테스터 사례가 중심이다.

완성된 영상이 아니라 반응하는 환경을 만든다

세계모델은 이용자나 AI가 행동했을 때 환경이 어떻게 변할지 예측하고 다음 상태를 생성한다. 미리 완성된 영상을 재생하는 방식과 달리 이용자가 이동 방향을 바꾸거나 새로운 행동을 선택하면 그다음에 보일 장면을 계속 만들어낸다.

구글 딥마인드는 2025년 공개한 Genie 3에서 텍스트 명령으로 생성한 환경을 초당 24프레임, 720p 해상도로 탐색할 수 있다고 설명했다. 날씨를 바꾸거나 사물과 인물을 추가하는 ‘프롬프트 가능한 세계 사건’ 기능도 포함됐다. 하지만 복수의 독립적인 인물이 상호작용하는 상황, 실제 장소의 정확한 재현, 문자 표현과 장시간 일관성에는 한계가 있었다.

2026년 1월에는 Genie 3 기반 웹 애플리케이션 Project Genie가 미국의 성인 Google AI Ultra 가입자에게 공개됐다. 이용자가 텍스트나 이미지로 환경과 캐릭터를 설정한 뒤 만들어진 공간을 직접 이동하거나, 다른 이용자의 세계를 변형하는 서비스다. 당시 Project Genie의 탐색 경험은 한 번에 60초로 제한됐다. Genie 3 연구 모델에서 소개한 일부 실시간 환경 변경 기능도 제품에는 들어가지 않았다.

Genie 4는 이 흐름을 이어가면서 이용자가 실시간으로 개입할 수 있는 범위를 넓혔다. 시뮬레이션 도중 자연어로 날씨를 바꾸고 카메라를 이동하거나 새로운 인물과 사물을 넣을 수 있다. 구글은 모델이 항공역학과 충돌, 물의 흐름 같은 물리적 상황을 표현하며 등장인물도 주변 환경과 사건에 반응하도록 설계됐다고 설명한다.

기존 영상 생성 모델은 대체로 프롬프트를 입력한 뒤 결과를 기다리고, 수정이 필요하면 다시 생성하는 방식이다. Genie 4에서는 이용자가 생성된 세계에 계속 개입한다. 모델은 달라진 조건을 반영해 그 자리에서 다음 장면을 이어간다.

화면과 별도로 붙이는 효과음이 아닌 ‘세계의 소리’

Genie 4에서 눈에 띄는 변화는 네이티브 오디오다. 구글에 따르면 모델은 화면을 생성하면서 바람과 파도 같은 주변음, 음악과 음향 효과도 함께 만든다. 가상 인물은 이용자의 행동이나 환경에서 일어난 사건에 맞춰 대화할 수도 있다.

공식 시연에는 두루미가 눈밭에서 피아노를 연주하는 장면과 인물이 등장한 공간에서 사건에 따라 소리와 대화가 달라지는 장면이 나온다. 구글은 장면을 먼저 만든 뒤 별도의 음향 생성 모델로 효과음을 붙이는 방식과 달리, 영상과 오디오를 하나의 상황으로 처리한다고 설명한다.

현재 공개된 자료만으로는 소리의 정확도나 장시간 동기화 성능을 독립적으로 평가하기 어렵다. 구글도 실시간 오디오의 정확성을 개선이 필요한 항목으로 명시했다. 공식 발표에는 외부 평가자가 재현할 수 있는 공개 벤치마크나 세부 평가 결과가 담기지 않았다. 시연에서 들리는 자연스러운 소리를 제품 전반의 성능으로 확대해 해석하기 어려운 이유다.

Gemini가 계획하고 Genie가 세계를 그린다

Genie 4가 모든 작업을 단독으로 처리하는 것은 아니다. 구글은 Gemini 계열 모델을 결합해 시뮬레이션의 외형과 진행을 보완한다고 밝혔다. Gemini Omni는 현실의 모습과 행동을 시뮬레이션에 반영하는 기반을 제공한다. Gemini 3.8 Flash는 진행 중인 화면을 살피는 안내 에이전트로 작동한다.

복잡한 목표가 주어지면 Gemini 3.8 Flash가 작업을 여러 단계로 나눈다. 이어 Genie 4가 생성한 프레임을 확인하며 각 단계가 수행됐는지 점검하고, 환경이 달라지거나 이용자가 개입하면 계획을 수정한다. 구글은 Gemini 4 Argon이 휴머노이드 로봇의 체커 게임 과정을 단계별로 나누고 Genie 4가 이를 실시간으로 시뮬레이션하는 사례도 공개했다.

이 사례가 실제 로봇이 Genie 4의 지시에 따라 현실에서 체커를 완수했다는 사실을 입증하지는 않는다. 공개된 내용은 Gemini가 작업을 계획하고 Genie 4가 그 과정을 가상환경으로 표현한 실험이다. 구글은 이 실험에서 언어모델의 계획 능력과 세계모델의 감각적 시뮬레이션을 결합했다.

창작 도구보다 넓은 시뮬레이션 경쟁

구글은 영화의 사전 시각화와 게임 아이디어의 초기 프로토타입뿐 아니라 역사적 공간과 재난 상황의 체험, 교육, 제조, 로봇 훈련에도 Genie 4를 시험하고 있다고 밝혔다. 창작자는 조명과 카메라, 대화와 행동을 바꾸며 여러 장면을 빠르게 비교할 수 있다. 개발자는 코드를 작성하기 전에 상호작용 구조를 확인할 수 있다는 설명이다.

Genie 4의 산업적 의미를 창작 시간 단축에만 한정하기는 어렵다. AI 에이전트와 로봇이 현실에 투입되기 전에 다양한 조건을 반복해서 경험할 수 있다면 세계모델은 콘텐츠 생성 도구인 동시에 훈련 인프라가 된다. 실제로 만들기 어렵거나 위험한 상황을 가상환경에 구성한 다음, 에이전트가 어떤 행동을 선택하는지 관찰하는 방식이다.

아직은 구글이 제시한 개발 방향과 제한된 실험에 근거한 가능성이다. Genie 4로 훈련한 에이전트가 현실에서도 같은 성능을 보인다는 결과는 발표되지 않았다. 시뮬레이션이 현실의 물리적·사회적 조건을 충분히 반영하지 못하면 가상환경에서 성공한 행동이 현실에서는 실패할 수 있다.

몇 분의 일관성도 해결되지 않은 과제

Genie 4는 초기 단계에 머물러 있다. 구글의 공식 모델 페이지에 따르면 연속적인 상호작용은 몇 분 정도로 제한된다. 실행 시간이 길어지거나 복잡한 수정 명령이 반복되면 물체의 형태와 위치가 달라지는 ‘드리프트’가 나타날 수 있다. 여러 독립적인 인물이 동시에 행동하는 상황과 실제 장소의 정확한 재현, 읽을 수 있는 문자, 공간적 정확성도 해결해야 한다.

생성된 환경이 설득력 있게 보인다고 해서 현실을 정확히 재현했다고 볼 수는 없다. 역사적 장소나 재난 상황을 시뮬레이션할 때는 화면의 사실성과 출처를 검증할 방법이 필요하다. 로봇 훈련에서도 물리 법칙과 인과관계의 오류가 반복되면 에이전트가 잘못된 행동을 학습할 수 있다.

구글은 Genie 4가 만든 영상과 오디오 모두에 AI 생성물 식별 기술 SynthID를 적용한다고 밝혔다. 워터마크는 생성물임을 알리는 장치다. 시뮬레이션 내용이 사실과 일치하는지, 물리적으로 정확한지까지 보증하지는 않는다.

일반 이용자에게 언제, 어디까지 제공되는지는 아직 알 수 없다. API 비용과 처리 지연, 해상도와 연속 실행 시간, 외부 평가가 가능한 성능 기준도 확인해야 한다. 현실의 데이터를 시뮬레이션에 어떻게 반영하고 생성된 환경의 오류를 어떤 방식으로 측정할지도 공개돼야 한다.

Genie 4는 이용자의 개입을 받아들이고 소리와 인물의 반응을 만들며, 다른 AI가 수행할 행동까지 시험하는 환경을 지향한다. 생성 모델의 역할이 영상 품질 개선에 머물지 않고 시뮬레이션으로 넓어진 셈이다. 다만 현재의 Genie 4는 완성된 가상세계 플랫폼이 아니라 제한된 이용자에게 제공되는 연구 프리뷰다. 기술의 가치는 시연 장면의 사실감보다, 변화하는 조건 속에서 세계의 상태와 인과관계를 얼마나 오래 유지할 수 있는지를 기준으로 판단해야 한다.