대규모 언어 모델의 컨텍스트 확장과 효율성 개선을 위한 혁신적 아키텍처 연구 활발
다국어·멀티모달 벤치마크 개발과 피드백 통합, 테스트 시간 계산 최적화로 AI 성능 향상 추구

TL;DR

1. MiniMax-M1
하이브리드 MoE 아키텍처와 라이트닝 어텐션을 결합한 100만 토큰 컨텍스트를 지원하는 세계 최초 오픈 웨이트 대규모 추론 모델이다.

2. MultiFinBen
금융 도메인에 특화된 최초의 다국어, 멀티모달 벤치마크로 LLM의 실제 금융 커뮤니케이션 능력을 평가한다.

3. Scientists' First Exam
과학적 인지 능력을 신호 인식, 속성 이해, 비교 추론 세 단계로 평가하는 과학 특화 MLLM 벤치마크이다.

4. DeepResearch Bench
웹 탐색, 정보 검색, 종합 능력을 평가하는 100개의 박사급 연구 과제로 구성된 심층 연구 에이전트 벤치마크이다.

5. Scaling Test-time Compute for LLM Agents
다양한 테스트 시간 확장 전략이 언어 에이전트의 성능을 향상시키며 특히 리스트 기반 검증 방식이 가장 효과적임을 입증한다.

6. Sekai
세계 100개 이상 국가의 5,000시간 이상 영상과 풍부한 주석을 포함한 세계 탐험용 고품질 1인칭 비디오 데이터셋이다.

7. CMI-Bench
다양한 음악 정보 검색 작업을 지시 따르기 형태로 재해석한 오디오-텍스트 LLM 평가용 포괄적 음악 벤치마크이다.

8. Feedback Friction
이상적인 조건에서도 LLM이 외부 피드백을 완전히 통합하는 데 저항하는 '피드백 마찰' 현상을 발견하고 분석한다.

9. DoTA-RAG
쿼리 재작성, 동적 라우팅, 다단계 검색을 통해 대규모 웹 지식 인덱스에서 높은 정확도와 낮은 지연시간을 달성하는 RAG 시스템이다.

10. Wait, We Don't Need to "Wait"!
"Wait", "Hmm" 같은 사고 토큰을 제거함으로써 모델 유용성을 유지하면서 추론 길이를 최대 51%까지 줄이는 효율적 추론 방법이다.

MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention

https://arxiv.org/abs/2506.13585

MiniMax-M1은 세계 최초의 오픈 웨이트 하이브리드 어텐션 추론 모델이다. 이 모델은 하이브리드 MoE(Mixture-of-Experts) 아키텍처와 라이트닝 어텐션 메커니즘을 결합하여 설계되었다. 총 456억 파라미터를 보유하고 있으며, 토큰당 45.9억 파라미터가 활성화된다. 특히 100만 토큰의 컨텍스트 길이를 지원하여 DeepSeek R1보다 8배 큰 컨텍스트를 처리할 수 있다. 연구팀은 새로운 RL 알고리즘인 CISPO를 제안하여 학습 효율성을 크게 향상시켰다. 이러한 기술적 혁신으로 인해 512대의 H800 GPU를 사용한 전체 RL 훈련이 단 3주 만에 완료되었으며, 비용은 $534,700에 불과했다. 연구팀은 40K와 80K 사고 예산을 가진 두 버전의 모델을 공개했으며, 이 모델들은 복잡한 소프트웨어 엔지니어링, 도구 활용, 긴 컨텍스트 작업에서 특히 강점을 보인다.

MultiFinBen: A Multilingual, Multimodal, and Difficulty-Aware Benchmark for Financial LLM Evaluation MultiFinBen: A Multilingual, Multimodal, and Difficulty-Aware Benchmark for Financial LLM Evaluation

https://arxiv.org/abs/2506.14028

MultiFinBen은 글로벌 금융 도메인에 특화된 최초의 다국어, 멀티모달 벤치마크이다. 이 벤치마크는 텍스트, 비전, 오디오 등 다양한 모달리티와 다국어 환경에서 LLM의 성능을 평가한다. 연구팀은 PolyFiQA-Easy와 PolyFiQA-Expert라는 새로운 다국어 금융 벤치마크를 도입했으며, EnglishOCR과 SpanishOCR 같은 OCR 기반 금융 QA 작업도 포함시켰다. 또한 난이도 인식 선택 메커니즘을 제안하여 균형 잡힌 벤치마크를 구성했다. 22개의 최신 모델을 평가한 결과, 일반적인 멀티모달 및 다국어 능력이 뛰어난 강력한 모델들도 복잡한 다국어/멀티모달 금융 작업에서 상당한 어려움을 겪는 것으로 나타났다.

MultiFinBen: A Multilingual, Multimodal, and Difficulty-Aware Benchmark for Financial LLM Evaluation Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

https://arxiv.org/abs/2506.10521

Scientists' First Exam(SFE)은 과학적 다중모달 추론 능력을 평가하기 위한 새로운 벤치마크이다. 이 벤치마크는 과학적 신호 인식, 과학적 속성 이해, 과학적 비교 추론이라는 3단계로 MLLM의 인지 능력을 평가한다. 5개 핵심 학문 분야에 걸쳐 66개 멀티모달 작업을 포함한 830개의 전문가 검증 VQA 쌍으로 구성되어 있다. 최신 모델인 GPT-o3와 InternVL-3를 평가한 결과, 각각 34.08%와 26.52%의 낮은 성능을 보였다. 이는 과학 분야에서 MLLM이 아직 상당한 발전 가능성을 가지고 있음을 시사한다.

Wait, We Don't Need to "Wait"! Removing Thinking Tokens Improves Reasoning Efficiency

[METAX = 김한얼 기자]

[ⓒ META-X. 무단전재-재배포 금지]