LLM 학습 안정화와 멀티모달 추론 및 이미지 생성 성능을 혁신적으로 개선한 고도화된 모델링 기법 제안
에이전트의 메모리·협업 효율을 극대화하고 환경 적응력을 높이는 다양한 오픈소스 프레임워크 공개

ROOT: Robust Orthogonalized Optimizer for Neural Network Training

https://arxiv.org/abs/2511.20626

대규모 언어 모델 훈련 시 발생하는 알고리즘의 정밀도 문제와 훈련 불안정성을 해결하기 위해, 이중 강건성 메커니즘을 갖춘 새로운 최적화 도구인 ROOT를 제안했다. 이 기법은 행렬 크기에 맞춘 적응형 뉴턴 반복법을 통해 직교화 정밀도를 일관되게 유지하고, 근접 최적화 방식을 도입하여 이상치 노이즈를 효과적으로 억제한다. 실험 결과, ROOT는 기존 Muon이나 Adam 기반 최적화 도구보다 노이즈가 많거나 비볼록한 환경에서도 더 빠른 수렴 속도와 뛰어난 최종 성능을 달성하여 대규모 모델 훈련의 안정성을 크게 향상시켰다.