틱톡은 왜 아이들의 안전장치를 꺼둔 채 실험했나

미국 상원의원들이 TikTok을 정조준했다.

Marsha Blackburn 공화당 상원의원과 Richard Blumenthal 민주당 상원의원은 TikTok에 서한을 보내, 회사가 수백만 명의 미국 사용자에게 알고리즘 안전 기능을 의도적으로 적용하지 않았다는 의혹에 대해 답변을 요구했다.

이번 문제의 출발점은 최근 보도다. 보도에 따르면 TikTok은 사용자가 슬픔, 외로움, 극단적 다이어트, 자해, 자살 등 민감하고 잠재적으로 해로운 콘텐츠에 반복적으로 노출되는 것을 막기 위한 추천 알고리즘 변경을 개발했다. 그러나 이 안전장치가 플랫폼 참여도와 체류시간, 이른바 stickiness에 어떤 영향을 주는지 확인하기 위해 미국 사용자 약 10%에게 해당 기능을 적용하지 않았다는 의혹이 제기됐다.

당시 이 통제군은 약 1,500만 명의 미국 사용자에 해당하는 규모였다고 의원들은 밝혔다. 더 심각한 점은 이 집단에 미성년자가 포함됐다는 주장이다.

Blackburn과 Blumenthal은 TikTok에 위험평가를 했는지, 실험 결과가 무엇이었는지, 안전 기능을 일부러 제외한 실험에 얼마나 많은 미국 사용자가 포함됐는지 답하라고 요구했다. 두 의원은 자신들이 추진해온 Kids Online Safety Act가 바로 이런 문제를 막기 위한 법안이라고 강조했다.

이번 사안은 단순한 플랫폼 논란이 아니다.

소셜미디어 기업이 아동 안전 기능을 제품 개선의 일부로 볼 것인가, 아니면 실험 변수로 취급할 것인가의 문제다. 더 나아가 알고리즘 추천 시스템이 사용자에게 무엇을 반복적으로 보여줄지 결정하는 시대에, 플랫폼 실험의 윤리적 경계가 어디인지 묻는 사건이다.

문제는 유해 콘텐츠 하나가 아니다

TikTok을 둘러싼 아동 안전 논쟁은 오래됐다.

소셜미디어 플랫폼은 폭력, 혐오, 성적 콘텐츠, 자해, 섭식장애, 극단적 다이어트, 우울감, 외로움, 자살 관련 콘텐츠가 청소년에게 미치는 영향을 두고 꾸준히 비판을 받아왔다. 그러나 이번 사안의 핵심은 특정 콘텐츠 하나가 아니다.

문제는 추천의 반복성이다.

한 번의 영상 시청은 우연일 수 있다. 그러나 알고리즘이 사용자의 반응을 읽고 비슷한 콘텐츠를 계속 밀어 넣으면 상황이 달라진다. 슬픔에 관한 영상을 본 청소년에게 더 많은 슬픔 콘텐츠가 추천되고, 외로움에 관한 영상을 본 사용자에게 더 많은 절망감 콘텐츠가 이어지고, 다이어트 영상을 본 청소년에게 극단적 체중감량 콘텐츠가 반복된다면, 플랫폼은 단순 게시판이 아니라 심리적 흐름을 증폭하는 시스템이 된다.

Blackburn·Blumenthal 의원들이 문제 삼는 것도 이 지점이다.

TikTok은 2021년 12월, 유해할 수 있는 유사 콘텐츠가 반복적으로 추천되는 것을 피하기 위한 방식을 테스트하고 있다고 공개적으로 밝혔다. 즉 회사는 같은 유형의 민감 콘텐츠가 묶음처럼 반복 추천될 때 생기는 위험을 인식하고 있었다.

그런데 보도에 따르면 TikTok은 이 안전장치를 모든 사용자에게 적용하지 않았다. 일부 사용자를 통제군으로 남겨두고, 안전 기능이 플랫폼 참여도에 어떤 영향을 주는지 보려 했다는 것이다.

이는 제품 실험이라는 이름으로 포장될 수 있다. 그러나 미성년자가 포함됐다면 성격은 완전히 달라진다.

아이들의 안전이 실험 변수로 다뤄졌다는 비판을 피하기 어렵다.

1,500만 명 통제군의 의미

의원들의 서한에서 가장 강한 숫자는 1,500만 명이다.

TikTok이 약 10%의 미국 사용자에게 안전 기능을 적용하지 않았고, 그 규모가 당시 약 1,500만 명에 달했다는 것이다. 플랫폼 기업에게 A/B 테스트는 일상적이다. 버튼 색상, 추천 순서, 알림 문구, 영상 피드 배열, 광고 노출 빈도는 끊임없이 실험된다.

문제는 실험 대상이 안전 기능일 때다.

사용자의 체류시간을 늘리기 위해 어떤 UI가 효과적인지 실험하는 것과, 유해 콘텐츠 반복 노출을 줄이기 위한 보호장치를 일부러 끄고 실험하는 것은 다르다. 특히 그 대상에 청소년이 포함된다면 더욱 그렇다.

안전 기능은 일반 기능이 아니다.

안전벨트를 일부 차량에만 장착하고 사고율을 비교할 수 없듯, 플랫폼도 이미 위험을 인식해 만든 보호장치를 일부 사용자에게 적용하지 않을 때는 훨씬 높은 윤리적 기준이 필요하다.

Blackburn과 Blumenthal은 TikTok이 safety measure가 user engagement와 stickiness에 어떤 영향을 주는지에 집착한 것으로 보인다고 비판했다. 표현을 바꾸면, TikTok이 안전의 비용을 계산하려 했다는 것이다.

이 프레임은 매우 강력하다.

플랫폼은 늘 안전과 성장 사이의 균형을 말한다. 그러나 이번 의혹은 그 균형이 실제 내부 실험에서 어떻게 작동했는지를 묻는다. 안전 기능이 사용자 체류시간을 줄인다면, 회사는 그래도 이를 적용할 것인가. 미성년자 보호가 engagement 감소보다 우선인가.

이번 서한은 TikTok에 그 답을 요구한다.

Chase Nasca 사례가 만든 도덕적 압박

이번 서한에서 가장 무거운 대목은 16세 Chase Nasca 사례다.

의원들은 내부 TikTok 보고서를 인용해 Chase가 2022년 1월 backtest experiment에 포함됐다고 밝혔다. 이 실험에서 TikTok의 filter bubble prevention strategies가 설계상 이 사용자에게 적용되지 않았다는 것이다.

이어지는 내용은 더 심각하다.

의원들의 서한에 따르면, Chase는 이후 몇 주 동안 슬픔, 절망, 외로움, 자살, 자해 관련 주제를 포함한 수천 개의 영상을 추천받았다. 그는 2022년 2월 사망했다. TikTok의 내부 검토는 그의 생애 마지막 2주 동안 시청한 7,563개 영상을 분석했고, 이 중 73%가 슬픔이나 개인적 어려움 같은 주제를 포함했으며, 거의 10%는 TikTok 자체 정책을 위반했다고 보도됐다고 의원들은 밝혔다.

이 사례는 법적 판단과 별개로 강력한 사회적 질문을 던진다.

플랫폼은 사용자의 취약한 상태를 감지했는가.
감지했다면 왜 반복 노출을 멈추지 못했는가.
이미 개발한 안전장치가 있었다면 왜 적용되지 않았는가.
그 사용자가 미성년자라는 사실은 어떤 보호 기준을 작동시켰어야 하는가.

물론 한 개인의 비극을 하나의 알고리즘 실험만으로 단정할 수는 없다. 청소년 정신건강은 복합적이고, 플랫폼 노출과 실제 피해 사이의 인과관계는 신중하게 다뤄야 한다.

그러나 이번 서한의 핵심은 인과관계의 최종 법적 판단이 아니다.

TikTok이 위험을 알고도, 일부 미성년자에게 안전장치를 적용하지 않았는지 여부다. 그 의혹만으로도 플랫폼 책임 논쟁은 크게 달라진다.

2021년 청문회 이후에도 같은 위험이 반복됐다는 주장

Blackburn과 Blumenthal은 TikTok이 이미 경고를 받았다고 강조한다.

두 의원은 2021년 아동 온라인 안전과 관련한 청문회를 주도했다. 2021년 10월 26일 상원 소비자보호 소위원회 청문회에서 TikTok은 플랫폼 안전에 대해 증언했다. 당시 의원들은 소셜미디어 플랫폼이 아동 안전보다 참여도와 수익을 우선시하고 있으며, 추천 알고리즘이 젊은 사용자를 점점 더 극단적이고 유해한 콘텐츠로 몰아넣을 수 있다고 우려했다.

서한은 그때 논의된 문제가 추상적 위험이 아니었다고 지적한다. 청문회에서는 극단적 다이어트, 섭식장애, 알고리즘 rabbit hole 등 청소년에게 반복 추천되는 유해 콘텐츠 문제가 이미 다뤄졌다.

의원들은 TikTok이 당시 청소년 정신건강 관련 연구와 데이터 제출 요구를 받았지만, 웹사이트 스크린샷과 공개된 제3자 보고서를 보냈다고 비판했다. 그리고 불과 몇 달 뒤, 회사가 안전 보호조치의 engagement 영향을 측정하기 위해 수백만 명의 사용자에게 해당 보호조치를 적용하지 않았다는 의혹이 제기됐다고 주장한다.

이 구조가 중요하다.

TikTok은 위험을 몰랐다고 말하기 어렵다.
의회 청문회에서 직접 질문을 받았다.
해당 위험에 관한 문서 제출 요구도 받았다.
그런데도 안전 기능 실험에서 미성년자가 제외되지 않았다면 책임은 더 무거워진다.

이번 서한은 TikTok의 행위를 단순 실수나 기술적 결함이 아니라, 경고 이후의 의사결정 문제로 본다.

알고리즘 실험의 윤리 문제

플랫폼 기업은 매일 실험한다.

A/B 테스트는 디지털 제품의 기본 운영 방식이다. 어떤 추천이 더 오래 보게 하는지, 어떤 알림이 더 많은 클릭을 유도하는지, 어떤 영상 배열이 더 많은 공유를 만드는지 실험한다. 사용자는 대부분 자신이 실험군인지 통제군인지 알지 못한다.

일반적인 제품 개선 실험이라면 큰 문제가 아닐 수 있다.

그러나 안전 기능은 다르다.

특히 아동과 청소년이 포함된 플랫폼에서 안전 기능을 꺼두거나 적용하지 않는 실험은 인간 대상 연구 윤리와 유사한 질문을 낳는다. 위험을 사전에 평가했는지, 취약 집단을 보호했는지, 실험 중 피해 신호를 모니터링했는지, 실험을 중단할 기준이 있었는지, 사후 검토가 이뤄졌는지가 중요하다.

Blackburn과 Blumenthal이 TikTok에 요구한 질문들도 여기에 가깝다.

위험평가를 했는가.
실험 결과는 무엇이었는가.
몇 명의 미국 사용자가 안전 기능을 withheld한 실험에 포함됐는가.
미성년자가 포함됐는가.
청소년 보호 기준은 무엇이었는가.
피해 가능성을 발견했을 때 어떻게 대응했는가.

이번 논란은 소셜미디어의 실험을 단순 제품 최적화로 볼 수 없게 만든다.

추천 알고리즘은 사용자의 감정과 행동에 영향을 줄 수 있다. 청소년에게는 그 영향이 더 민감하다. 따라서 플랫폼 실험도 더 높은 투명성과 책임 기준을 가져야 한다.

Kids Online Safety Act의 정치적 동력

두 의원은 이번 사안을 Kids Online Safety Act, 즉 KOSA의 필요성과 연결한다.

KOSA는 소셜미디어 플랫폼이 아동 안전을 염두에 두고 제품을 설계하도록 요구하는 법안이다. 이번 서한에서 Blackburn과 Blumenthal은 TikTok 사례가 왜 자율규제만으로는 부족한지 보여준다고 주장한다.

핵심은 design duty다.

플랫폼이 문제가 생긴 뒤 콘텐츠를 삭제하는 것만으로는 충분하지 않다는 것이다. 애초에 제품 설계와 알고리즘 추천 구조가 아동에게 어떤 위험을 만들 수 있는지 평가하고, 이를 줄이는 방향으로 설계해야 한다는 접근이다.

이번 TikTok 의혹은 KOSA 지지자들에게 강한 논거를 제공한다.

회사들이 안전을 약속하더라도, 내부에서는 안전 기능이 engagement에 미치는 영향을 먼저 따질 수 있다.
플랫폼이 자체적으로 위험을 관리한다고 해도, 외부에서는 그 실험과 데이터를 확인하기 어렵다.
미성년자가 어떤 알고리즘 실험에 포함되는지 부모와 규제기관은 알 수 없다.
사고가 발생한 뒤에야 내부 문서와 보도를 통해 사실이 드러난다.

따라서 의원들은 의미 있는 투명성과 accountability가 필요하다고 말한다.

이번 서한은 TikTok만을 겨냥하지만, 실제로는 전체 소셜미디어 업계를 향한 메시지다.

아동 안전을 기업의 선의에 맡길 수 없다는 것이다.

TikTok의 가장 큰 리스크는 중국 문제가 아니다

미국에서 TikTok 논쟁은 오랫동안 국가안보와 중국 소유 구조에 집중돼왔다.

데이터가 중국으로 넘어가는지, 중국 정부가 영향력을 행사할 수 있는지, TikTok이 미국 여론에 영향을 줄 수 있는지가 주요 쟁점이었다. 그러나 이번 서한은 다른 차원의 위험을 부각한다.

TikTok의 리스크는 외국 소유만이 아니다.

플랫폼 자체의 추천 알고리즘이 아동에게 어떤 영향을 주는지가 핵심이다. 이는 TikTok뿐 아니라 Instagram, YouTube, Snapchat, X, Discord 등 모든 대형 플랫폼에 적용되는 문제다.

TikTok을 둘러싼 미국 정치의 특징은 양당이 서로 다른 이유로 TikTok을 압박한다는 점이다. 보수 진영은 국가안보와 문화적 영향, 검열 문제를 강조한다. 진보 진영은 아동 안전, 정신건강, 플랫폼 책임, 개인정보 문제를 강조한다. 이번 Blackburn·Blumenthal 서한은 이 두 흐름이 만나는 지점에 있다.

공화당과 민주당이 함께 TikTok을 압박하는 이유도 여기에 있다.

아동 안전은 초당적 이슈가 될 수 있다.
추천 알고리즘의 불투명성은 정치적 스펙트럼을 넘어선 문제다.
플랫폼이 engagement를 위해 위험을 감수했다는 의혹은 강한 공분을 만든다.

TikTok은 국가안보 논쟁만 방어해서는 부족하다.

이제는 알고리즘 실험과 아동 안전에 대한 내부 의사결정까지 설명해야 한다.

안전을 engagement와 비교하는 순간

이번 논란에서 가장 정치적으로 강한 프레임은 “put the price tag on safety”다.

플랫폼 입장에서 모든 안전 기능은 비용을 가진다. 유해 콘텐츠를 덜 보여주면 사용 시간이 줄어들 수 있다. 민감 콘텐츠 반복 추천을 막으면 몰입도가 떨어질 수 있다. 알림을 줄이면 재방문이 줄 수 있다. 청소년의 야간 사용을 제한하면 광고 노출도 줄 수 있다.

따라서 플랫폼은 늘 내부적으로 묻게 된다.

이 안전 기능은 engagement를 얼마나 줄이는가.

그 질문 자체가 잘못은 아닐 수 있다. 제품 변경은 효과를 측정해야 한다. 그러나 아동 안전과 관련된 기능에서는 질문의 순서가 달라야 한다.

먼저 물어야 할 것은 이것이다.

이 기능이 위험을 줄이는가.
미성년자를 더 안전하게 만드는가.
피해 가능성을 낮추는가.
취약한 사용자에게 필요한 보호를 제공하는가.

engagement 영향은 그 다음 질문이어야 한다.

의원들은 TikTok이 이 순서를 뒤집었다고 보는 듯하다. 안전 기능의 필요성보다 그것이 플랫폼 stickiness에 미치는 영향을 먼저 보려 했다는 것이다.

이 프레임이 확산되면 TikTok뿐 아니라 다른 플랫폼도 부담을 느낄 수밖에 없다.

아동 안전 기능의 실험 데이터와 내부 의사결정이 규제와 소송의 핵심 증거가 될 수 있기 때문이다.

한국 플랫폼에도 남의 일이 아니다

이 논쟁은 미국 TikTok 이슈에 그치지 않는다.

한국에서도 청소년은 숏폼 영상, 추천 피드, 알고리즘 기반 콘텐츠 소비에 깊게 노출돼 있다. 유튜브 쇼츠, 인스타그램 릴스, 틱톡, 네이버·카카오의 추천 콘텐츠, 게임·커뮤니티 플랫폼까지 청소년의 미디어 경험은 알고리즘이 설계한다.

한국 플랫폼과 정책당국도 같은 질문을 피할 수 없다.

청소년에게 반복적으로 유해 가능 콘텐츠가 추천되는 것을 어떻게 막을 것인가.
섭식장애, 자해, 우울, 외로움, 극단적 다이어트, 폭력, 혐오 콘텐츠가 묶음으로 이어지는 것을 어떻게 감지할 것인가.
안전 기능을 도입할 때 미성년자를 실험군과 통제군에 포함시킬 것인가.
플랫폼 실험에서 아동 안전 기능은 어떤 윤리 기준을 가져야 하는가.
기업은 engagement 감소를 이유로 안전 기능 적용을 늦출 수 있는가.
규제기관은 플랫폼의 내부 실험 데이터를 요구할 수 있는가.

특히 한국은 청소년 스마트폰 사용과 플랫폼 의존도가 높다. 숏폼 콘텐츠 소비도 빠르게 늘고 있다. 단순 이용시간 제한만으로는 충분하지 않다. 문제는 시간이 아니라 추천의 방향이다.

어떤 콘텐츠가 이어지는가.
어떤 감정 상태를 강화하는가.
취약한 사용자를 어떻게 보호하는가.

이것이 핵심이다.

플랫폼 투명성의 다음 단계

이번 서한은 플랫폼 투명성 논의를 한 단계 밀어 올린다.

과거에는 플랫폼이 어떤 콘텐츠를 삭제했는지, 어떤 계정을 정지했는지, 정부 요청에 어떻게 대응했는지가 투명성의 핵심이었다. 이제는 알고리즘 실험과 안전 기능 적용 여부까지 투명성의 대상이 되고 있다.

플랫폼은 다음과 같은 정보를 요구받게 될 수 있다.

아동 안전 기능이 언제 개발됐는가.
누구에게 적용됐고 누구에게 적용되지 않았는가.
미성년자가 통제군에 포함됐는가.
실험 전 위험평가를 했는가.
실험 중 피해 징후를 모니터링했는가.
engagement 지표와 안전 지표 중 무엇을 우선했는가.
실험 결과를 외부에 공개했는가.
안전 기능을 적용하지 않은 이유는 무엇인가.

이는 플랫폼 기업에게 매우 민감한 영역이다.

알고리즘 실험은 제품 경쟁력의 핵심이고, 내부 데이터는 영업비밀로 취급된다. 그러나 아동 안전과 관련된 실험이라면 영업비밀만으로 방어하기 어려워질 수 있다.

앞으로 플랫폼 규제의 핵심은 “무엇을 삭제했는가”에서 “무엇을 추천하도록 설계했는가”로 이동할 가능성이 크다.

결론: 아이들은 플랫폼 실험의 통제군이 될 수 없다

Blackburn·Blumenthal 상원의원의 TikTok 서한은 아동 온라인 안전 논쟁의 본질을 드러낸다.

문제는 유해 콘텐츠가 존재한다는 사실만이 아니다. 문제는 플랫폼이 유해 가능 콘텐츠의 반복 추천 위험을 알고도, 이를 줄이는 안전장치를 일부 사용자에게 적용하지 않았는지 여부다. 특히 그 통제군에 미성년자가 포함됐다면, 이는 단순한 제품 실험을 넘어 아동 안전의 윤리 문제로 번진다.

TikTok은 추천 알고리즘을 통해 사용자 경험을 설계한다. 어떤 영상을 보여줄지, 어떤 흐름을 끊을지, 어떤 주제를 반복할지 결정한다. 청소년에게 이 결정은 단순한 취향 추천이 아니라 심리적 환경을 만드는 일이 될 수 있다.

이번 서한은 TikTok에 세 가지 질문을 던진다.

첫째, 안전 기능을 일부러 withheld하기 전에 위험평가를 했는가.
둘째, 그 실험에 얼마나 많은 미국 사용자와 미성년자가 포함됐는가.
셋째, 안전 기능이 engagement를 줄일 가능성이 있다면 회사는 무엇을 우선했는가.

이 질문은 TikTok만의 문제가 아니다.

모든 소셜미디어 플랫폼은 사용자를 대상으로 실험한다. 그러나 아이들의 안전은 실험 변수여서는 안 된다. 이미 개발된 보호장치가 있다면, 미성년자를 통제군에 넣어 그 효과와 engagement 손실을 비교하는 방식은 사회적 신뢰를 잃을 수밖에 없다.

자율규제의 한계도 여기서 드러난다.

플랫폼은 안전을 약속할 수 있다. 하지만 외부에서 내부 실험과 의사결정을 볼 수 없다면 그 약속은 검증되지 않는다. KOSA 같은 법안이 힘을 얻는 이유도 이 때문이다. 아동 안전은 기업의 선의가 아니라 설계 의무와 투명성, 책임의 영역으로 이동하고 있다.

추천 알고리즘 시대의 아동 보호는 콘텐츠를 지우는 것만으로 충분하지 않다.

반복 추천을 어떻게 끊는가.
위험한 몰입을 어떻게 감지하는가.
미성년자를 실험에서 어떻게 보호하는가.
안전 기능의 적용 여부를 누가 감시하는가.

이 질문에 답해야 한다.

플랫폼은 아이들의 시간을 얻기 위해 경쟁할 수 있다.

하지만 아이들의 안전을 꺼둔 채 실험해서는 안 된다.