오픈AI, 공식 탐지기 서비스 중단과 그 함의

2023년 7월, 오픈AI가 공식적으로 AI 작성 글 판별기를 폐기했다.

발표의 이면에는 ‘신뢰성 부족’이라는 냉정한 현실이 자리한다. AI 글쓰기의 확산과 탐지 기술의 한계가 전 세계 교육계, 저널리즘, 정책 영역에 던지는 메시지는 무엇일까.

“AI가 썼는지, 인간이 썼는지”

오픈AI는 2023년 1월, 인간과 인공지능이 쓴 글을 구분하는 AI 분류기(classifier)를 출시했다.

GPT-3, ChatGPT 등 생성형 AI가 대중화되면서, 누가 쓴 글인지 판별해야 한다는 사회적 요구가 커진 데 따른 조치다. 교육계에서는 학생의 ‘AI 부정행위’ 판별, 미디어 업계에선 ‘가짜뉴스’ 필터링 등 각종 분야에서 이 기술에 기대를 걸었다.

하지만 2023년 7월 20일, 오픈AI는 이 분류기 서비스 중단을 전격 발표했다. 그 이유는 ‘낮은 정확도’ 때문이었다. 오픈AI는 “AI 판별기는 더 이상 사용 불가하다. 신뢰할 만한 탐지 기술을 찾기 위한 연구를 계속하고 있다”고 밝혔다.

기술적 한계: “정확도 26%, 오탐 9%... 신뢰 불가”

오픈AI의 설명에 따르면, 이 분류기는 1,000자 이상의 영어 텍스트에서 AI 작성 문장을 26%만 ‘AI로 썼다’고 정확히 잡아낸다. 반면 인간이 쓴 글도 9%는 ‘AI가 썼다’고 오판한다.

텍스트가 짧아지면 탐지 성능은 더 급격히 떨어진다. 언어나 코드 등 비영어권, 구조적 데이터에는 거의 쓸 수 없을 정도로 부정확하다.

특히 ‘예측 가능한’ 내용(예: 소수 나열, 공용 정보)이나, AI가 쓴 글을 사람이 조금만 편집해도 탐지를 완전히 회피할 수 있다.

AI 탐지기가 신뢰할 수 있으려면 ‘거짓 양성(False Positive)’과 ‘거짓 음성(False Negative)’ 모두 최소화해야 한다. 하지만 실제론 오히려 ‘확신에 찬 오판’까지 자주 일어난다. 신경망 기반 탐지기는 훈련 데이터에서 벗어난 새로운 양식, 최신 모델에는 쉽게 무력화된다.

AI 판별기의 실전 적용은 심각한 사회적, 교육적 파장을 동반한다.

미국 등지에선 학생 과제를 AI 탐지기로 검사하다 억울한 누명을 쓰는 사례가 속출했다.

“학생이 직접 쓴 글도 AI가 썼다고 오인해서 졸업·진급이 걸린 학사 징계 위기로 번졌다”는 실례가 언론에 등장했다.

오픈AI도 “탐지기는 주요 의사결정에 활용하지 말고, 다른 판별법과 병행해 보조 도구로만 쓸 것”을 강조했다.

교육자, 저널리스트, 정책 입안자 등 다양한 현장 이해관계자와의 소통을 강화하겠다고 밝혔다.

AI 탐지 기술의 구조와 한계

오픈AI가 사용한 판별기는 인간 작성·AI 작성 쌍 데이터로 파인튜닝된 언어 모델이다. 특정 주제에 대해 ‘사람이 쓴 답’과 ‘AI가 쓴 답’을 비교 학습시킨다.

실 서비스에서는 오탐률을 낮추기 위해 판별 신뢰 임계치를 높였지만, 그만큼 실제 탐지 가능성은 더욱 낮아졌다.

또, AI 탐지기는 기본적으로 ‘AI의 예측 패턴’과 ‘인간의 언어적 특이성’을 통계적으로 구분하는 방식이다.

하지만 최신 AI가 인간과 구분되지 않을 만큼 자연스럽게 문장을 생성하고, 약간의 편집만으로 탐지를 회피할 수 있어 구조적 한계가 크다.

오픈AI는 “AI 판별 기술은 앞으로도 계속 연구할 것이며, 특히 오디오·비주얼 등 다양한 멀티모달 콘텐츠의 AI 생성 여부도 밝히는 기술 개발에 집중하겠다”고 밝혔다.

하지만 ‘AI 탐지’의 본질적 한계는 “고도화된 생성형 AI와 탐지기의 무한경쟁”이라는 구조적 딜레마로 귀결된다.

상업적 탐지 서비스가 과도하게 활성화될 경우, 교육계는 계속 ‘상업적 논리’에 끌려갈 수밖에 없다는 우려도 있다.

AI 리터러시 교육, 정직성·윤리성에 대한 정책적 합의, 사회적 신뢰 회복 방안이 동시에 요구된다.

“AI 판별, 만능 해법은 아니다”

오픈AI 판별기 폐지는 단순한 서비스 종료를 넘어, ‘AI 판별 기술’에 대한 과신에 경고등을 켰다.

AI가 만든 텍스트와 인간이 만든 텍스트의 경계가 흐려지는 시대, ‘탐지 기술’만이 해답일 수 없다는 점이 재확인된 셈이다.

궁극적으로 중요한 것은 “AI가 도구로 활용되는 사회적 맥락, 윤리적 기준, 신뢰와 투명성”이다.

AI와 인간이 공존하는 시대에 필요한 것은 기술적 통제력보다 사회적 합의와 교육, 그리고 책임 있는 사용 문화를 세우는 일임을 다시 한번 생각해 볼 때다.