[2025년 38째주] MetaX 주간 AI 논문 리뷰
김한얼 기자
loenahmik@gmail.com | 2025-09-20 07:00:20
대규모 데이터셋 기반의 4D 월드 모델링과 AI 파이프라인을 통한 3D 애셋 생성 자동화
OmniWorld: A Multi-Domain and Multi-Modal Dataset for 4D World Modeling
https://arxiv.org/abs/2509.12201
AI가 3차원 공간과 시간의 흐름을 함께 이해하는 4D 월드 모델링 기술의 발전을 위해서는 양질의 데이터가 필수적이지만, 기존 데이터셋은 복잡성이 부족하여 한계가 있었다. 이러한 문제를 해결하기 위해 다양한 환경과 현실적인 상호작용을 담은 대규모 데이터셋 'OmniWorld'를 공개했다. 이 데이터셋을 활용해 AI 모델을 학습시킨 결과, 4D 공간 재구성 및 영상 생성 작업에서 성능이 크게 향상됨을 확인했으며, 이는 향후 더 발전된 4D 월드 모델 개발을 가속하는 중요한 자원이 될 것이다.
https://arxiv.org/abs/2509.13312
기존 AI는 웹의 방대한 정보로 심층 보고서를 작성할 때, 고정된 계획으로 긴 글을 한 번에 생성하려다 보니 내용이 부실해지는 문제가 있었다. 이를 해결하기 위해 인간의 연구 과정처럼 동적으로 계획을 수정하는 'WebWeaver' 프레임워크를 개발했다. WebWeaver는 정보를 수집하며 보고서 개요를 반복적으로 최적화하는 '플래너'와, 이 개요에 따라 필요한 부분만 집중적으로 작성하는 '라이터'로 구성되며, 이 접근법을 통해 여러 벤치마크에서 최고 성능을 달성하며 적응형 계획의 중요성을 입증했다.
https://arxiv.org/abs/2509.13310
오픈소스 대규모 언어 모델 기반의 AI 에이전트는 복잡한 작업에서 성능 저하를 보이는데, 이는 범용 모델에 에이전트 행동과 전문가 데이터를 동시에 학습시킬 때 발생하는 최적화 충돌 때문이었다. 이 논문은 본격적인 튜닝 전에 에이전트의 기초 능력을 미리 학습시키는 '에이전트 지속적 사전학습(Agentic CPT)' 단계를 도입했다. 이 방법론을 적용해 개발한 'AgentFounder' 모델은 여러 벤치마크에서 최고 성능을 달성했으며, 이는 강력한 에이전트 구축을 위해 기반 모델의 능력을 사전학습으로 먼저 다지는 것이 효과적임을 보여준다.
https://arxiv.org/abs/2509.13305
오픈소스 AI 에이전트는 독점 에이전트에 비해 복잡한 정보 탐색 능력이 뒤처졌는데, 그 원인은 방대한 정보 속에서 불확실성을 체계적으로 줄여나가는 추론 능력의 부재에 있었다. 이 문제를 해결하고자 'WebSailor' 방법론을 통해 일부러 불확실성을 높인 합성 데이터를 생성하고 효율적인 강화학습으로 모델을 훈련시켰다. 그 결과, 오픈소스 에이전트의 성능을 크게 향상시켜 독점 에이전트와의 기술 격차를 성공적으로 줄일 수 있었다.
https://arxiv.org/abs/2509.15221
AI가 인간처럼 컴퓨터 GUI를 조작하는 에이전트 기술은 대규모 오픈소스 데이터가 부족하여 발전이 더뎠다. 이러한 한계를 극복하기 위해 6개의 운영체제를 아우르는 대규모 데이터셋 'ScaleCUA'를 구축했다. 이 데이터셋으로 훈련된 모델은 여러 플랫폼을 넘나들며 작업을 원활히 수행했고, 다양한 벤치마크에서 기존 최고 기록을 경신하며 범용 컴퓨터 사용 에이전트의 발전에 데이터 기반 확장이 매우 중요함을 증명했다.
https://arxiv.org/abs/2509.15207
기존의 언어 모델 강화학습은 가장 높은 보상만 좇다 보니, 덜 일반적이지만 유효한 추론 경로를 놓쳐 모델의 다양성을 해치는 문제가 있었다. 'FlowRL'은 이러한 문제를 해결하기 위해 단일 보상 극대화 대신 전체 '보상 분포'를 학습 목표로 삼았다. 즉, 다양한 정답 경로를 골고루 배우도록 유도한 결과, 수학 및 코드 추론 문제에서 기존 방식보다 월등히 높은 성능을 달성하며 효율적인 탐색과 추론 능력 향상을 이끌어냈다.
https://arxiv.org/abs/2509.13309
장기적인 심층 연구를 수행하는 AI 에이전트는 단일 문맥 안에서 너무 많은 정보를 처리하다 내용의 핵심을 놓치는 '문맥 질식' 문제를 겪어왔다. 'WebResearcher'는 연구 과정을 여러 단계로 나누어 주기적으로 중간 결과를 정리하고 다시 집중하는 반복적 패러다임을 도입하여 이 문제를 해결했다. 또한 복잡한 연구 과제를 자동으로 생성하는 데이터 엔진을 활용해 모델을 훈련시킨 결과, 여러 까다로운 벤치마크에서 최첨단 독점 시스템마저 능가하는 성능을 보였다.
https://arxiv.org/abs/2509.12815
게임 개발에 필수적인 고품질 3D 애셋 제작은 시간과 노력이 많이 드는 노동 집약적 작업이었다. 'Hunyuan3D Studio'는 텍스트나 이미지 한 장만으로 게임 엔진에 바로 사용할 수 있는 최적화된 3D 모델과 텍스처를 자동으로 생성하는 통합 AI 플랫폼이다. 이 시스템은 창의적인 아이디어를 기술적인 결과물로 즉시 변환하여 3D 콘텐츠 제작 시간을 획기적으로 단축하고, 게임 개발 분야의 AI 워크플로우를 혁신했다.
https://arxiv.org/abs/2509.08643
기존 3D 생성 기술은 모델을 의미 있는 부품 단위로 깔끔하게 분해하지 못해 후속 편집 작업에 어려움이 있었다. 'X-Part'는 3D 객체를 의자의 다리, 등받이처럼 구조적으로 일관되고 의미 있는 여러 부품으로 정교하게 분해하는 새로운 생성 모델이다. 이를 통해 부품 단위 3D 생성 분야에서 최고 수준의 성능을 달성했으며, 사용자가 쉽게 편집할 수 있는 제작 환경을 제공하여 상업용 3D 애셋 제작의 새로운 패러다임을 제시했다.
[METAX = 김한얼 기자]
[ⓒ META-X. 무단전재-재배포 금지]