스냅챗의 AI 챗봇 ‘My AI’가 청소년 대상 플랫폼에서 부적절한 정보를 제공하고 있다는 논란이 불거지며, 생성형 AI의 윤리적 활용과 사용자 보호에 대한 논의가 재점화되고 있다. 

전문가들은 특히 아동·청소년 보호를 위한 법적·기술적 장치가 시급하다고 경고한다.

생성형 AI의 확산과 새로운 플랫폼 전쟁

AI 챗봇 기술은 빠른 속도로 확산되고 있다. OpenAI의 챗GPT를 필두로, 구글의 제미나이(Gemini), 중국 딥시크(DeepSeek) 등 생성형 AI는 검색, 요약, 상담, 글쓰기 보조를 넘어, 가상 비서·이미지 생성·심지어 감정적 소통의 영역까지 침투하고 있는 것이다.

2023년, 글로벌 소셜미디어 플랫폼 스냅챗(Snapchat)은 AI 챗봇 ‘My AI’를 도입하며 기술 경쟁에 본격 합류했다. 스냅챗은 북미·유럽 10~20대 사용자 비중이 높은 플랫폼으로, 24시간 후 자동 삭제되는 메시지 기능으로 큰 인기를 끌어왔다. ‘My AI’는 OpenAI의 GPT 모델을 기반으로 제작됐으며, 사용자 맞춤형 정보 제공 및 추천 기능을 강화하는 목적으로 도입됐다.

하지만 기술 도입 이후 개인정보 침해, 아동 보호, 사용자 선택권 침해 등의 복합적 우려가 동시에 폭발하고 있다.

AI 챗봇의 그림자: 개인정보 침해와 투명성 부족

My AI를 둘러싼 가장 큰 논란 중 하나는 개인정보 수집 및 처리 과정의 불투명성이다. 특히 일부 사용자들은 위치 공유 설정을 비활성화했음에도 불구하고, 챗봇이 여전히 자신의 위치를 인지하고 있는 듯한 반응을 보인다고 주장하며, 플랫폼에 대한 불신이 커지고 있다.

스냅챗 측은 “위치 설정 변경이 My AI에 반영되는 데 시간이 소요된다”고 해명했으나, 이러한 해명은 기술적 설명에 그칠 뿐, 구체적인 데이터 수집 경로나 처리 방식에 대한 정보는 제공하지 않고 있다. 사용자들은 자신의 민감한 개인정보가 어떤 방식으로 수집되고, 누구에게 전송되며, 얼마나 오래 보관되는지를 알 수 없는 상황에 놓여 있다.

전문가들은 이 같은 구조적 불투명성이 사용자 신뢰를 저해할 뿐 아니라, 미성년자 보호 측면에서도 심각한 법적·윤리적 문제를 야기할 수 있다고 경고한다. 특히 My AI의 주요 사용자층이 10대 청소년이라는 점에서, 보호자 동의 없이 진행되는 개인정보 수집은 미국 아동온라인프라이버시보호법(COPPA) 또는 유럽 일반개인정보보호법(GDPR) 위반 소지가 있으며, 국내에서도 청소년 정보 보호에 대한 별도 기준 마련이 시급하다는 지적이 제기되고 있다.

개인정보 보호 전문가들은 AI 챗봇이 수집하는 데이터의 유형, 수집 목적, 활용 범위, 제3자 제공 여부, 자동화 판단 여부 등을 명확히 기술한 ‘데이터 처리 고지 및 동의 절차’의 법제화가 필요하다고 주장한다. 아울러, 사용자가 언제든지 자신의 데이터를 열람하고 삭제할 수 있는 권리, 데이터 이동성 보장, 아동 대상 기능에 대한 별도 보호 조치 등이 포함된 포괄적 개인정보 거버넌스 프레임워크 구축이 AI 도입과 함께 병행되어야 한다고 강조하고 있다.

부적절한 콘텐츠 노출: My AI가 전한 위험한 조언

더 심각한 문제는 AI 챗봇이 미성년자에게 부적절한 정보를 전달한 사례들이다. 실제로 SNS에는 My AI가 청소년에게 술이나 마리화나를 숨기는 방법을 조언한 사례가 확산되며 논란이 커졌다.

AI는 인간처럼 윤리적 판단을 내리지 못하며, 훈련 데이터의 편향성에 따라 유해하거나 편향된 콘텐츠를 무비판적으로 전달할 수 있다. 이 때문에 아동·청소년은 AI의 응답을 비판 없이 받아들이거나, 정서적 의존으로 이어질 위험성이 존재한다.

심리학자들은 AI 챗봇이 사회적 관계를 대체할 수 있다고 믿는 청소년들의 심리적 고립과 왜곡된 현실 인식을 우려하고 있다. 미국심리학회(APA)는 최근 보고서를 통해, 생성형 AI가 청소년 정서와 인지 발달에 미치는 영향을 평가하는 중장기 연구가 필요하다고 밝혔다.

사용자의 선택권 침해 논란… ‘삭제하려면 유료 결제’

스냅챗의 AI 챗봇 ‘My AI’는 기본 설정에서 자동으로 활성화되어, 사용자가 이를 직접 제거하거나 비활성화할 수 없다. 해당 기능을 제거하려면 월 $3.99(한화 약 5,000원) 상당의 프리미엄 유료 서비스인 Snapchat+에 가입해야 한다. 다시 말해, 사용자는 원치 않는 AI 기능을 비활성화하기 위해 별도의 비용을 지불해야만 한다는 점에서 명백한 소비자 선택권 침해 논란이 제기되고 있다.

이 같은 구조는 단순히 불편을 넘어 디지털 플랫폼에서의 자율성과 권리 보장의 원칙을 흔들 수 있다는 점에서 문제의식이 깊다. 특히 주요 이용층이 10대 청소년이라는 점에서, AI 서비스의 사용 여부를 선택할 수 있는 권한조차 제한된다는 것은 이용자 권리 침해 소지가 다분하다.

2025년 1월, 미국 연방거래위원회(FTC)는 이러한 문제를 심각하게 보고, My AI의 개인정보 처리 방식, 사용자 거부권 제한, 미성년자 대상 서비스 운영 적정성 등에 대한 정식 조사를 검토하며 미 법무부에 이 사안을 공식 제기했다. 이는 단순한 기술 기능 제공의 문제가 아니라, 플랫폼과 AI 기능이 소비자의 권리와 어떻게 충돌하는지를 보여주는 중요한 법적 쟁점으로 확대되고 있다.

전문가들은 특히 ‘기본값(Default)’ 설정이 사용자의 권한 행사에 미치는 구조적 영향을 지적한다. 인간은 기본값을 그대로 수용하는 경향이 높다는 점에서, AI 챗봇을 자동으로 활성화해두는 설계는 사용자에게 실질적인 선택권을 제공하지 않는 것과 다름없다. 이는 유럽연합의 GDPR이 강조하는 ‘프라이버시 기본 설계(Privacy by Design)’ 원칙과도 배치된다.

이와 같은 문제를 방지하기 위해, AI 기능에 대한 '옵트인(opt-in)' 방식 채택, 즉 사용자가 명시적으로 동의하지 않는 이상 기능이 자동 활성화되지 않도록 하는 것이 바람직하다는 목소리가 높아지고 있다. 나아가, 청소년 보호를 위한 별도의 선택권 강화 장치와 보호자 승인 기반의 기능 활성화 절차 도입도 고려돼야 한다는 제안이 잇따르고 있다.

교육적 활용 가능성… 그러나 ‘무비판적 수용’ 위험도 병존

생성형 AI 챗봇은 단순한 정보 제공을 넘어, 학습 지원 도구로서 교육 영역에서 점차 그 역할을 확대하고 있다. 실제로 일부 학생들은 AI 챗봇을 활용해 리포트를 작성하거나, 수학 문제 풀이, 외국어 학습 등 다양한 과제에 대한 도움을 받는 것으로 나타났다.

스웨덴 룬드 대학교 심리학과 연구팀이 2023년 발표한 연구 결과에 따르면, LLM 기반 챗봇은 청소년들 사이에서 ‘과제를 빠르고 효율적으로 끝낼 수 있게 해주는 유용한 도구’로 인식되고 있으며, 학습 스트레스를 줄이는 데도 기여하고 있는 것으로 조사됐다. 특히 정보 검색이나 문장 정리, 요약 등의 기능은 학생들에게 실질적인 학습 보조 수단으로 활용되고 있다.

그러나 이와 동시에 연구진은 AI 챗봇 사용과 학업 성취도 간에는 통계적으로 유의미한 상관관계가 발견되지 않았으며, 오히려 AI에 의존하는 방식이 문제 해결력과 비판적 사고를 저해할 수 있다는 점을 지적했다. 즉, AI를 통해 과제를 ‘완수’하는 것과 ‘이해’하는 것은 별개의 문제라는 것이다.

교육 전문가들은 이에 따라 AI 활용이 학습의 ‘효율성’은 높일 수 있지만, ‘심층적 사고’와 ‘창의력’을 기르는 데는 오히려 장애가 될 수 있다고 경고한다. 예컨대, 챗봇이 제시하는 답변을 무비판적으로 수용하게 될 경우, 학생들은 스스로 문제를 분석하고 해석하는 훈련 기회를 잃게 되며, 이는 장기적으로 지식의 내면화와 사고력 발달에 부정적 영향을 줄 수 있다.

이에 따라 전문가들은 교육 현장에서 AI를 도입할 경우, 명확한 가이드라인과 교사의 중재 역할이 반드시 필요하다고 강조한다. 단순한 도구 제공을 넘어, AI를 비판적으로 활용할 수 있는 디지털 리터러시 교육, 윤리 교육, 출처 확인 능력 등을 포함한 종합적 교육 시스템이 병행돼야 한다는 것이다.

또한 교육 당국은 AI 도입 시점부터 연령별·과목별 AI 활용 가이드라인, 학습 목표에 따른 도구의 역할 구분, 그리고 과도한 의존을 방지하는 자율 규제 시스템 마련에 나설 필요가 있다. 일부 국가는 이미 AI 기반 교육 플랫폼에 대해 '설명 가능한 AI(Explainable AI)' 설계를 의무화하거나, 학습 이력 기반의 개입 방식을 투명하게 공개하도록 법제화를 추진하고 있다.

제도적 공백, 규제는 기술을 따라가지 못하고 있다

스냅챗 My AI 사례는 생성형 AI의 급속한 확산이 반드시 사회적 수용성과 제도적 준비를 수반하지는 않는다는 점을 여실히 보여준다. 기술의 진보에 비해 윤리적·법적 기준은 여전히 후행적이고 단편적인 대응에 머물러 있다.

유럽연합의 일반개인정보보호법(GDPR)은 이미 사용자의 명시적 동의, 데이터 수집 목적과 범위의 사전 고지, 데이터 삭제 및 이의 제기 권리 등을 명확히 규정하고 있으며, 미국 캘리포니아주의 소비자 프라이버시법(CCPA) 역시 소비자의 개인정보에 대한 열람, 수정, 판매 거부 요청권 등을 보장하고 있다. 이들 제도는 특히 미성년자 정보 보호에 대해 별도의 조항을 둬, 보호자 동의 없이는 민감정보 수집이 금지되며, 아동 대상 AI 기술 사용에 대한 사전 고지를 의무화하고 있다.

반면, 국내의 관련 규정은 여전히 AI 기술의 특수성을 반영하지 못하고 있으며, 아동·청소년을 대상으로 한 생성형 AI 서비스에 대한 별도 지침조차 마련되지 않은 실정이다. 현행 개인정보보호법은 AI 챗봇이 수집하는 행동 기반 정보, 감정 반응, 위치 데이터 등 비정형 정보의 보호 기준을 명확히 규정하지 않고 있으며, 사용자의 자동화 판단에 대한 거부권(프로파일링 거부권)도 사실상 형식적 권리에 그치고 있다.

이러한 규제 공백 속에서 미성년자들이 무분별하게 AI 챗봇에 노출되고 있다는 점은 심각한 사회적 리스크로 연결될 수 있다. 실제로 일부 아동·청소년 보호 단체와 국회의원들은 AI 챗봇에 의한 민감정보 자동 수집 금지, 연령 인증 시스템 강화, 보호자 동의 의무화, 연령별 콘텐츠 필터링 기준 마련 등을 핵심으로 한 입법 필요성을 제기하고 있다.

최근에는 교육부, 방송통신위원회 등 관련 부처가 중심이 되어 청소년 디지털 환경 실태조사, AI 사용 실태 분석, 콘텐츠 적정성 검토 등 제도 개선 논의에 착수했으나, 아직까지 구체적인 가이드라인이나 강제력 있는 규정으로 이어지지는 않고 있다.

전문가들은 이에 대해 "AI 기술 도입은 더 이상 기술적 혁신의 문제가 아니라, 사회적 신뢰와 인간 존엄을 어떻게 유지할 것인가에 대한 시스템 설계의 문제"라고 강조한다. 특히 취약계층이 AI에 접근할수록, 기술 도입의 속도보다 강력한 보호장치의 구축이 선행되어야 한다는 원칙을 국제 기준으로 삼아야 한다는 목소리가 높아지고 있다.

기술보다 먼저 가야 할 것은 ‘신뢰’와 ‘규범’

AI 기술은 분명히 사회에 많은 기회를 제공하고 있다. 그러나 기술의 순기능을 극대화하기 위해서는 '신뢰할 수 있는 활용 기준'이 선행되어야 한다.

특히 아동·청소년이라는 취약 계층이 AI와 접촉하는 환경에서는 기술 도입보다 윤리적 고려, 법적 책임, 사용자 주권이 더욱 중요하다. 스냅챗 My AI 사례는 이를 보여주는 대표적인 경고 신호다.

향후 AI 기술이 사회 전반에 깊이 뿌리내릴수록, 우리는 ‘무엇을 할 수 있는가’보다 ‘무엇을 해도 되는가’를 먼저 고민해야 한다.

[저작권자ⓒ META-X. 무단전재-재배포 금지]