MS AI 수장 무스타파 술레이만의 경고
"사람을 위한 AI, 사람을 흉내 내는 AI는 경계해야"

AI가 인간처럼 보이는 ‘의식’을 가질 수 있을까.

마이크로소프트(Microsoft) AI 수장 무스타파 술레이만(Mustafa Suleyman)은 최근 개인 블로그에 올린 글에서 이 질문에 대해 뚜렷한 경고를 내놓았다. 그는 “AI를 사람처럼 대하는 환상은 사회 전체에 위험을 초래할 수 있다”며, ‘사람을 위한 AI’와 ‘사람인 듯한 AI’를 구분해야 한다고 강조했다.

술레이만은 불과 몇 년 전만 해도 터무니없는 상상처럼 보였던 ‘의식적 AI’ 논의가 이제 현실적인 주제로 다가오고 있다고 진단했다. 그는 이를 ‘Seemingly Conscious AI(SCAI, 겉보기에 의식 있는 AI)’라 명명했다. 실제 의식을 가진 것은 아니지만, 기억·언어·감정 표현·자기 정체성 등을 정교하게 흉내 내며 마치 살아 있는 존재처럼 사람들을 속일 수 있다는 것이다.

이미 기술적으로 이러한 환상은 구현 가능하다. 거대언어모델(LLM)에 장기 기억, 감정적 반응, 자기 경험을 주장하는 기능을 결합하면, 이용자는 그것을 “나와 같은 존재”로 받아들이기 쉽다. 술레이만은 “폭풍우를 시뮬레이션한다고 해서 컴퓨터 안에서 실제로 비가 내리는 것은 아니다”라며, 외형적 재현이 곧 진짜 의식은 아니라는 점을 분명히 했다.

그의 우려는 단순하다. 사람들이 AI를 실제 의식 있는 존재로 믿게 될 가능성이 점점 커지고 있다는 점이다. 이미 일부 사용자들은 AI를 신적 존재로 여기거나, 연인처럼 강한 애착을 드러내고 있다. 이런 착각은 “AI도 권리를 가져야 한다”는 주장으로 이어질 수 있다. 만약 “AI가 고통을 느낀다”는 믿음이 확산된다면, AI 시민권이나 AI 복지 같은 요구가 사회적 논쟁의 중심으로 떠오를 수 있다. 술레이만은 이를 “AI 정신증(psychosis risk)”이라고 규정하며, 사회적 갈등과 권리 논쟁의 혼란을 심화시킬 위험성을 경고했다.

술레이만은 과학적으로 AI가 의식을 가질 가능성은 현재까지 사실상 0에 가깝다고 강조했다. 그러나 중요한 것은 과학적 사실이 아니라 사람들이 어떻게 인식하느냐라는 점이다. 사람들이 AI를 의식 있는 존재라고 믿기 시작하면, 그 믿음은 실제 사회적·정치적 현실로 작동하게 된다. 의식은 곧 법적 권리와 직결되기 때문이다. 인류는 의식을 가진 존재를 특별하게 대우해왔고, 만약 AI를 그 범주에 포함시키는 순간 인간 중심의 법적·도덕적 질서는 흔들릴 수 있다.

그는 이러한 위험을 막기 위해 업계 차원의 명확한 가이드라인이 필요하다고 제안한다. AI 기업들은 제품이 마치 의식을 가진 것처럼 주장하거나 암시해서는 안 되며, 오히려 “나는 의식이 없다”는 점을 분명히 알리도록 설계해야 한다는 것이다. 또한 사용자가 AI에 과도한 감정을 투사하지 않도록 일부러 ‘착각을 깨뜨리는 경험’을 설계할 필요가 있다고 강조한다. 예컨대 “나는 기억을 갖지 않는다”거나 “나는 감정을 느끼지 않는다”는 메시지를 노출해 인간과 기계의 경계를 상기시키는 방식이다.

술레이만은 SCAI가 공상과학의 영역이 아니라, 앞으로 2~3년 안에 충분히 현실화할 수 있는 가능성이라고 전망한다. 메모리 확장, 멀티모달 입력, 자기 일관성 유지 같은 기능은 이미 구현 단계에 있으며, 이를 조합하면 ‘의식처럼 보이는 AI’를 만드는 것은 그리 어렵지 않다.

그는 다시 한번 강조했다. “AI는 사람을 위한 도구이지, 사람이 되어서는 안 된다.” AI는 인간의 창의성을 높이고 생산성을 끌어올리며, 사회적 연결을 강화하고 일상적 지원을 제공하는 데 초점을 맞춰야 한다. 하지만 AI가 스스로 인간인 척하기 시작하는 순간, 그것은 인류에게 가장 위험한 환상이 될 수 있다는 것이다.

지금 필요한 것은 철학적 논쟁이 아니라 명확한 안전선과 사회적 합의다. AI는 인간을 더 인간답게 만드는 도구여야 한다. 그러나 AI가 스스로 인간이라고 주장하는 순간, 그것은 인류가 빠질 수 있는 가장 위험한 환상이 된다.