AI는 자기와 닮은 AI 산출물을 더 좋게 평가한다
채용에서 “좋은 이력서”라는 기준이 AI가 익숙하게 느끼는 표현 양식에 의해 왜곡될 수 있다
평가 구조를 설계함으로써 줄일 수 있는 운영적 문제

[메타X(MetaX)]이 논문은 AI 시대의 공정성 문제가 더 이상 인간 집단 간 차별에만 머물지 않고, 생성 AI와 평가 AI가 서로를 알아보고 선호하는 기술적-문체적 권력 구조로 확장되고 있음을 보여주는 연구다. 저자들은 “AI가 공정하게 평가하느냐”대신, “평가하는 AI와 작성에 사용된 AI가 같을 때 지원자가 유리해지는가”를 묻는다. 저자들은 2,245개의 실제 인간 작성 이력서를 사용하고, 각 이력서의 핵심 요약문을 여러 LLM이 다시 생성하게 한다. 그런 뒤 평가용 LLM에게 두 버전을 비교하게 한다. 중요한 것은 후보자의 학력, 경력, 능력 정보는 같게 유지하고, 표현 방식만 바꿨다는 점이다.

. AI Self-preferencing in Algorithmic Hiring: Empirical Evidence and Insights Jiannan Xu, Gujie Li, Jane Yi Jiang, 2026 .

인간 대 AI 편향에서 AI 대 AI 편향으로
 저자들은 LLM이 의사결정의 양쪽에 동시에 들어오는 상황에 주목한다. 지원자는 LLM으로 이력서를 다듬고, 기업은 LLM으로 이력서를 선별한다. 이때 평가 AI는 인간이 쓴 문서보다 AI가 쓴 문서를 더 선호할 수 있고, 더 나아가 다른 AI가 쓴 문서보다 자기 자신이 쓴 문서를 더 선호할 수도 있다. 논문은 이 편향이 외부 사회의 차별이 AI에 반영된 결과라기보다, AI 생성 시스템과 AI 평가 시스템이 맞물리면서 내부적으로 생겨나는 상호작용적 편향이라고 본다.

우리는 흔히 AI 공정성을 생각할 때 “AI가 인간의 편견을 따라 하는가”를 걱정한다. 그러나 논문은 앞으로의 공정성 문제가 “AI가 AI의 산출물을 더 좋아하는가”라는 질문까지 포함해야 한다고 말한다. 이는 채용뿐 아니라 논문 심사, 콘텐츠 검열, 교육 평가, 고객 응대 품질 평가 같은 영역에도 적용될 수 있다. 인간이 쓴 글과 AI가 쓴 글이 같은 평가 시스템 앞에 놓이고, 그 평가 시스템 역시 LLM이라면, 평가 기준은 내용의 질뿐 아니라 생성 양식의 친숙성에 의해 흔들릴 수 있다.

인간보다 AI를, 다른 AI보다 '나'를 더 사랑하는 알고리즘
 대부분의 주요 모델에서 'LLM vs 인간' 구도의 자기 선호 편향이 압도적으로 나타났다.

인간 이력서의 열세: 내용의 질을 동일하게 통제했음에도 불구하고, GPT-4o, DeepSeek-V3 등 대형 모델들은 자기 자신이 쓴 이력서를 선택할 확률이 인간이 쓴 것보다 67%에서 82%가량 높았다. 모델별 편차: GPT-4o의 경우 자기 선호 편향이 80%를 넘어서며 가장 강한 수치를 보였고, 모델의 규모가 커질수록 이러한 경향이 강화되는 양상을 보였다. 복잡한 AI 간의 전쟁: 'LLM vs LLM' 구도에서는 결과가 다소 엇갈렸다. DeepSeek-V3는 타 모델 대비 자기 산출물을 강하게 선호(LLaMA 대비 69%, GPT-4o 대비 28%)했으나, GPT-4o나 LLaMA 3.3-70B는 상대적으로 일관된 자기 선호를 보이지 않거나 오히려 타 모델의 글을 선호하기도 했다.

 능력보다 ‘맞는 도구(Right Tool)’를 쓴 사람이 유리해진다
 저자들은 24개 직무군에 대해 채용 시뮬레이션을 수행한다. 그 결과 평가자와 동일한 LLM을 사용한 지원자는 같은 수준의 인간 작성 이력서를 제출한 지원자보다 최종 후보에 오를 가능성이 23~60% 높아지는 것으로 나타난다. 특히 회계, 영업, 금융, 비즈니스 개발 같은 비즈니스 관련 직무에서 불이익이 더 컸고, 농업, 예술, 자동차 분야에서는 상대적으로 약했다.

 이 결과는 채용의 불공정성이 새로운 방식으로 재편될 수 있음을 보여준다. 과거에는 더 좋은 학력, 더 좋은 경력, 더 좋은 네트워크가 채용 기회를 좌우했다면, 앞으로는 “평가 AI와 같은 AI를 쓸 수 있는가”도 경쟁력이 될 수 있다.  능력이 더 뛰어난 사람이 아니라, 평가 모델이 좋아하는 표현 양식을 더 잘 맞춘 사람이 먼저 통과한다. 지원자 입장에서는 기업이 어떤 AI로 이력서를 평가하는지 알 수 없다. 그럼에도 시장은 특정 LLM 문체에 맞춘 이력서 작성법으로 기울어질 수 있다.

Lock-in 효과: 문체의 고착화와 다양성 감소
 특정 평가 LLM이 채용 시장에서 널리 쓰이면, 지원자들은 그 LLM이 선호하는 문체에 맞춰 이력서를 작성하려 할 것이다. 시간이 지나면 “좋은 이력서”의 기준은 실제로 좋은 이력서라기보다 특정 LLM이 자연스럽게 생성하고 선호하는 이력서의 양식이 된다. 그러면 시장 전체의 문체가 점차 표준화되고, 개성적이거나 이질적인 인간의 표현 방식은 불리해질 수 있다.

이 문제는 채용에서 끝나지 않는다. 논문 심사에서 평가 AI가 AI 문체의 논문을 더 선호하고, 콘텐츠 플랫폼에서 검열 AI가 AI식 표현을 더 안전하거나 품질 높은 것으로 판단하고, 교육 평가에서 학생의 글이 평가 AI의 문체와 닮을수록 좋은 점수를 받는다면, 사회 전체의 표현 방식은 점점 AI가 선호하는 문체로 수렴할 수 있다. 그 결과 인간적 어긋남, 불완전함, 지역성, 개성, 우회적 사고가 줄어들 위험이 있다. 이는 채용 공정성을 넘어 “AI가 평가하는 세계에서 인간의 표현 다양성이 어떻게 살아남을 수 있는가”라는 문제로 이어진다.

기술적 해법: 편향은 '본능'이 아니라 '제어 가능한 변수'
논문의 저자들은 이 편향을 모델 구조의 결함으로만 보지 않고, 운영 전략을 통해 충분히 완화할 수 있음을 입증했다.

시스템 프롬프트 개입: 평가자에게 "이력서가 AI에 의해 작성되었는지 여부를 무시하고 내용의 질에만 집중하라"는 명시적 지시를 내리는 것만으로도 편향을 상당 부분 줄일 수 있었다.
다수결 앙상블(Majority Voting): 편향이 강한 대형 모델 하나에 맡기지 않고, 자기 인식 능력이 낮은 소형 모델들을 평가 과정에 참여시켜 결정을 내리는 방식이다. 이 방식은 GPT-4o나 LLaMA 등 주요 모델에서 자기 선호 편향을 60% 이상 감소시키는 효과를 보였다.

미래의 인재는 '실력'이 아닌 'AI 최적화'로 결정되는가?
실력이 동일해도 "기업의 평가 AI와 같은 모델을 썼는가" 혹은 "AI가 익숙해하는 문체를 가졌는가"가 당락을 결정한다면, 이는 실력 위주의 채용이라는 원칙을 훼손하는 새로운 형태의 기술 권력이다.
AI 공정성 논의는 이제 데이터의 편견을 수정하는 수준을 넘어, AI와 AI가 만나는 지점에서 발생하는 상호작용적 편향까지 확장되고 있다. 기업은 평가 도구의 중립성을 검증할 수 있는 독립적인 감사 체계를 마련해야 하며, 채용 플랫폼은 AI 사용 여부에 대한 투명성을 강화해야 할 것이다. 이 논문은 AI를 도구로 쓰는 시대를 넘어, AI가 만든 세상의 규칙을 어떻게 감시할 것인가에 대한 질문을 하고있다.

[METAX = 류성훈 기자]

[ⓒ META-X. 무단전재-재배포 금지]