연구 수준 수학 챌린지 ‘퍼스트 프루프’ 10문제 중 5문제 유력 정답
장기 추론·모호성 처리 검증…인간 감독 결합한 협업형 증명

인공지능이 단순 계산과 문제 풀이 단계를 넘어 연구급 수학 난제에 도전하는 수준으로 진화하고 있다.

OpenAI는 고난도 수학 챌린지 ‘퍼스트 프루프(First Proof)’에 대한 내부 모델의 증명 시도 결과를 공개하며 AI 추론 능력의 새로운 진전을 제시했다.

‘퍼스트 프루프’는 정답이 명확히 정해진 경진대회 문제와 달리, 특정 분야 전문가조차 검증에 시간이 필요한 연구 수준 난제로 구성된다. 일부 문제는 수년간 해결되지 않았으며, 학과 단위의 역량을 동원해도 일주일 이상이 소요될 정도의 난도로 설계됐다. 이번 도전은 단순 벤치마크 점수 경쟁이 아니라, 장기 추론 유지 능력과 추상화 선택, 모호성 처리 등 실제 연구 과정에서 요구되는 핵심 역량을 시험했다는 점에서 의미가 있다.

OpenAI는 총 10개 문제에 대해 증명을 시도했으며, 전문가 피드백 결과 최소 5개 문제(4·5·6·9·10번)의 증명은 정답일 가능성이 높은 것으로 평가됐다고 밝혔다. 초기 모델은 2개 문제 해결에 그쳤으나, 반복 훈련과 전략 개선을 통해 해결 범위를 5개까지 확대했다. 특히 모델이 익숙한 수학적 구조를 가진 문제에서 엄밀한 논리를 유지하며 증명을 완성한 점이 주목된다.

다만 한계도 드러났다. 당초 정답으로 평가됐던 일부 문제는 커뮤니티 분석과 공식 검토 과정에서 오류가 발견됐다. 이는 AI가 생성한 수학 증명이라 하더라도 최종적 엄밀성 검증에는 여전히 인간 전문가의 역할이 필수적임을 보여준다.

이번 성과는 완전 자동화된 증명이 아니라 인간 감독과의 협업 모델을 통해 도출됐다. 연구진은 전략적 프롬프팅을 통해 유망한 추론 경로를 재시도하도록 유도하고, 전문가 피드백을 반영해 논증을 확장하거나 수정하도록 했다. 또한 내부 추론 모델과 대화형 모델 간 상호 검증을 거쳐 논리 구조와 표현을 정교화했다. 이는 AI가 독립적 연구자가 되기보다는 인간과 협력하는 ‘보조 연구 파트너’로 진화하고 있음을 시사한다.

OpenAI는 이번 성과가 단발성 실험이 아니라 장기간 축적된 추론 연구의 연장선상에 있다고 설명했다. 2025년 국제수학올림피아드(IMO) 수준 문제 해결 성과와 차세대 모델을 활용한 과학 연구 사례가 기반이 됐다는 것이다. 최근에는 GPT-5.2 계열 모델이 제안한 물리학적 공식 후보를 내부 모델이 증명하고 연구자들이 이를 검증하는 과정도 진행 중이라고 밝혔다.

향후 목표는 수 시간 이상 연속 추론을 유지하면서도 높은 확신 수준의 엄밀성을 확보하는 것이다. 연구진은 이러한 ‘연구급 추론 능력’을 차기 공용 모델에 점진적으로 통합할 계획이라고 전했다.

이번 발표는 AI가 단순 정보 생성 도구를 넘어 복잡한 과학·수학 연구의 동반자로 자리 잡을 가능성을 보여준다. 다만 엄밀성 검증과 책임 문제, 연구 윤리 기준 등 새로운 과제가 병행돼야 한다는 점도 분명해졌다. AI의 연구 참여는 이제 가능성의 단계에서 실제 적용 단계로 이동하고 있다.