AI가 글을 읽는 단위를 바꿨다…Bolmo가 보여준 언어모델의 다른 길

기존 모델을 바이트 기반으로 전환한 연구…문자 이해는 개선됐지만 과제별 성능 차이는 남았다

긴 문장을 자연스럽게 쓰는 AI가 글자를 하나씩 다루는 작업도 잘할까. 언어모델의 능력을 이해하려면 모델 크기나 학습량과 함께 살펴야 할 것이 있다. 텍스트를 어떤 단위로 나누어 처리하는가다.

2026년 10월 7일 『Nature』에 최종 출판된 「Retrofitting language models to operate over bytes」는 이 입력 단위를 바꾸는 방법을 제시한다. Benjamin Minixhofer 등 연구진은 이미 학습된 언어모델을 바이트 기반 모델로 전환하는 ‘바이트화(byteification)’를 개발했다. Bolmo는 이 방법으로 만든 모델 계열이다.

단어 조각과 바이트는 무엇이 다른가

많은 언어모델은 문장을 고정된 어휘 목록에 있는 단어나 단어 조각으로 나눠 처리한다. 이를 서브워드 토큰화라고 한다. 이 방식은 효율적으로 언어를 학습하는 데 활용돼 왔지만, 단어 내부의 세부 문자 정보가 필요한 작업에서는 제약이 생길 수 있다.

바이트 기반 모델은 텍스트의 UTF-8 인코딩을 구성하는 바이트에서 출발한다. 여기서 바이트를 글자 하나와 같은 뜻으로 이해하면 곤란하다. 문자는 인코딩에 따라 여러 바이트로 표현될 수 있다. 핵심은 미리 정해진 단어 조각 목록을 그대로 사용하는 대신 더 낮은 수준의 정보에서 텍스트를 처리한다는 것이다.

Bolmo는 바이트를 모두 동일한 방식으로 큰 모델에 넣는 구조도 아니다. 가벼운 부분이 바이트 정보를 처리하고 여러 바이트를 패치로 묶으면, 기존 모델에서 가져온 깊은 신경망이 그 패치를 처리한다. 이후 다시 바이트 수준의 출력을 만든다. 내부에서 묶음을 구성하므로 ‘토큰이나 분할 과정이 완전히 사라졌다’고 설명하는 것도 부정확하다.

새로 만드는 대신 기존 모델을 전환했다

이번 연구의 특징은 바이트 모델을 처음부터 새로 학습하는 데만 의존하지 않았다는 점이다. 연구진은 두 단계로 기존 모델을 전환했다. 첫 단계에서는 기존 핵심 모델을 고정하고 새로 추가한 부분이 원래 모델의 동작을 따르도록 학습한다. 다음 단계에서는 전체 모델을 학습해 바이트 정보를 활용하도록 조정한다.

이 방법은 Olmo뿐 아니라 Qwen3와 Llama 3에도 적용됐다. 따라서 하나의 모델에서만 작동하는 사례를 넘어, 서로 다른 모델 계열을 전환하는 방법으로 평가할 수 있다.

저자들은 전환에 사용한 추가 학습 예산이 통상적인 사전학습 예산의 1% 미만이라고 설명한다. 이는 이미 만들어진 모델을 출발점으로 삼는 추가 전환 학습에 관한 비교다. 원래 모델을 만드는 데 들어간 비용까지 포함한 전체 개발비가 1%라는 의미는 아니다.

문자 이해는 높아졌지만 모든 성능이 오른 것은 아니다

논문 표 1의 Olmo 3 7B와 이를 전환한 Bolmo 7B를 비교하면 성과와 한계를 함께 볼 수 있다.

※ 원문 표 1의 해당 열에서 발췌한 점수다. 전체 평균의 작은 수치 차이를 유의한 우월성으로 해석하지 않는다. pass@1은 한 번의 생성에서 정답을 얻는 성능, pass@16은 16개 후보 안에 정답이 포함될 가능성을 평가하는 지표다.

전체 평균은 원래 모델에 가까웠고 문자 이해에서는 큰 차이가 나타났다. 그러나 코드 생성은 평가 조건에 따라 방향이 달랐다. 한 번에 정답을 생성하는 성능은 낮아졌지만 여러 후보를 평가하는 지표는 높아졌다. 수학 등 다른 범주에서도 원래 모델보다 낮은 점수가 보고됐다. 따라서 이 연구를 ‘바이트 모델이 기존 모델을 모든 면에서 넘어섰다’고 요약할 수는 없다.

문자 이해의 개선도 구조 변경만의 결과로 단순화해서는 안 된다. 연구진은 문자 단위 작업을 위한 합성 학습자료를 사용했고, 같은 자료로 기존 모델을 추가 학습한 대조 조건도 제시했다. 학습자료와 모델 구조의 기여를 함께 살핀 실험이라는 점이 중요하다.

AI 경쟁에서 ‘정보를 읽는 방식’이 중요한 이유

이 연구의 의미는 언어모델의 기본 설계를 다시 실험할 수 있는 경로를 제시했다는 데 있다. 기존 모델의 학습 성과를 활용하면서 텍스트 처리 구조를 바꿀 수 있다면, 연구자는 모든 과정을 처음부터 반복하지 않고 새로운 설계의 가능성을 검토할 수 있다.

공개 범위도 눈여겨볼 부분이다. 연구팀은 코드와 모델 체크포인트, 학습자료 및 평가 관련 정보를 공개했다. 연구 발표를 읽는 데서 나아가 다른 연구자가 조건을 점검하고 후속 실험을 설계할 수 있는 기반을 제공한다.

다만 문자 이해 점수의 개선을 실제 업무 전반의 오류 감소나 모든 언어의 문제 해결로 확대해서는 안 된다. 사용 목적에 따라 한 번의 정답 생성이 중요한지, 여러 후보를 검토할 수 있는지, 처리 속도와 자원 사용을 어떻게 평가할지도 달라진다.

메타엑스의 관점에서 Bolmo가 던지는 질문은 분명하다. AI의 다음 발전을 모델의 크기로만 설명할 수 있는가. 이번 연구는 텍스트를 표현하고 묶는 방식 역시 성능과 효율을 바꾸는 연구 대상임을 보여준다. 어떤 단위로 정보를 읽게 할 것인지가 언어모델 경쟁의 또 다른 설계 과제가 되고 있다.