페이스북 피드 뒤덮은 저질 AI 콘텐츠… 알고리즘 악용 계정 대대적 제재

페이스북이 생성형 인공지능(AI)으로 제작된 저품질 콘텐츠와 스팸 게시물 확산에 대응하기 위해 알고리즘 규제를 강화한다. 메타(Meta)는 2025년 4월 공식 뉴스룸 발표를 통해 “페이스북 피드를 스팸성 콘텐츠로부터 보호하기 위한 대규모 조치(crack down on spammy content)”를 시행한다고 밝혔다.

최근 생성형 AI 기술의 확산으로 이미지와 영상 콘텐츠를 대량 생산할 수 있는 환경이 만들어지면서 페이스북 피드에는 저품질 AI 영상과 알고리즘을 노린 스팸 콘텐츠가 급증하고 있다. 메타는 이러한 콘텐츠가 플랫폼의 신뢰도를 떨어뜨릴 뿐 아니라 실제 창작자의 노출 기회를 빼앗고 이용자 경험을 크게 악화시키고 있다고 판단했다.

메타는 공식 발표에서 페이스북 피드가 스팸 콘텐츠로 오염되고 있는 상황을 구체적으로 지적했다. AI 또는 자동화 도구를 활용해 대량 생산된 콘텐츠가 증가하고 있으며, 해시태그 남용이나 클릭을 유도하는 자극적 캡션을 활용한 게시물이 빠르게 확산되고 있다는 것이다. 또한 동일한 콘텐츠를 수백 개 계정이 반복 게시하거나, 가짜 좋아요와 댓글을 통해 참여도를 인위적으로 높이는 방식도 빈번하게 발견되고 있다. 여기에 유명 크리에이터를 사칭한 계정까지 증가하면서 플랫폼 생태계의 신뢰성이 크게 흔들리고 있다는 분석이다.

메타에 따르면 이러한 문제는 단순한 콘텐츠 생산 활동이 아니라 알고리즘을 의도적으로 조작하는 이른바 ‘알고리즘 게임화(gaming the algorithm)’ 전략과 밀접하게 연결돼 있다. 실제로 메타는 2024년 한 해 동안만 1억 개 이상의 가짜 페이지와 2300만 개 이상의 사칭 계정을 플랫폼에서 제거했다고 밝혔다. 이는 생성형 AI 기반 콘텐츠 제작 도구가 확산되면서 콘텐츠 생산 비용이 사실상 0에 가까워졌기 때문이라는 분석이 나온다.

메타는 이번 조치에서 플랫폼 구조 자체를 바꾸는 세 가지 핵심 정책을 발표했다. 첫 번째는 스팸 콘텐츠 계정에 대한 노출 제한이다. 과도한 해시태그 사용, 콘텐츠와 무관한 캡션, 동일 게시물 반복 업로드, 동일 콘텐츠의 다중 계정 게시 등 스팸 행위가 감지될 경우 해당 계정의 도달률(reach)을 크게 낮춘다는 방침이다. 이 경우 콘텐츠는 팔로워에게만 제한적으로 노출되며, 광고 수익 등 수익 창출 기능도 제한된다. 즉 조회수를 기반으로 한 광고 수익 모델 자체를 차단하는 방식이다.

두 번째는 가짜 참여(fake engagement)에 대한 단속 강화다. 메타는 스팸 네트워크가 댓글 조작이나 좋아요 봇, 팔로워 구매 등을 통해 콘텐츠 확산을 인위적으로 조작하고 있다고 판단하고 있다. 이에 따라 가짜 참여로 의심되는 댓글의 노출을 줄이고, 봇 네트워크 계정을 제거하며, 자동화된 팔로우 네트워크를 차단하는 조치를 강화한다.

세 번째는 크리에이터 사칭 계정에 대한 집중 단속이다. AI 콘텐츠 시대에는 콘텐츠 도용과 계정 사칭 문제가 빠르게 증가하고 있다. 메타는 이를 막기 위해 크리에이터 사칭 계정을 자동으로 탐지하는 시스템을 도입하고, 댓글에서 사칭 계정을 자동으로 숨기는 기능을 강화한다. 또한 ‘Moderation Assist’ 기능과 ‘Rights Manager’를 통해 콘텐츠 소유권 보호 기능도 확대할 계획이다.

이번 정책 변화의 근본적인 배경에는 생성형 AI 기술의 급격한 발전이 있다. 2023년 이후 등장한 다양한 AI 도구는 이미지 생성, 영상 생성, 음성 합성, 자동 편집, 자동 업로드까지 콘텐츠 제작 과정 전반을 자동화하고 있다. 이로 인해 콘텐츠 생산 구조 자체가 근본적으로 바뀌었다. 과거에는 콘텐츠 제작에 시간과 비용이 필요했지만, 현재는 거의 비용 없이 대량의 콘텐츠를 빠르게 만들어낼 수 있는 환경이 만들어졌다.

이러한 변화는 플랫폼에 새로운 문제를 가져왔다. 과거 소셜미디어가 직면했던 문제는 콘텐츠 부족이었다면, 이제는 콘텐츠 과잉이 새로운 문제로 등장한 것이다. 특히 AI 기반 영상 콘텐츠는 감정을 자극하는 스토리 구조와 반복적인 서사, 클릭을 유도하는 제목, 자동 생성된 썸네일 등을 활용해 알고리즘에서 높은 클릭률을 기록하는 경우가 많다. 그러나 이러한 콘텐츠는 실제 정보 가치나 창작 품질이 낮은 경우도 적지 않다.

메타의 이번 조치는 단순한 스팸 대응을 넘어 플랫폼 알고리즘의 방향 전환을 의미한다. 과거 소셜미디어 알고리즘은 클릭, 좋아요, 공유 등 참여도를 중심으로 콘텐츠를 평가했다. 그러나 이제 플랫폼은 콘텐츠의 진정성(originality)과 창작자의 신뢰성(authenticity)을 평가 요소로 반영하려는 움직임을 보이고 있다. 다시 말해 플랫폼이 “얼마나 많이 보였는가”보다 “누가 만들었는가”를 중요하게 평가하기 시작했다는 의미다. 이는 크리에이터 경제 구조에도 중요한 변화를 가져올 가능성이 있다.

이러한 변화는 메타만의 움직임이 아니다. 최근 주요 글로벌 플랫폼들은 모두 AI 콘텐츠 홍수 문제에 대응하기 위한 정책을 도입하고 있다. 유튜브는 AI 생성 콘텐츠에 대한 표시 정책을 도입하고 대량 자동 콘텐츠 채널의 수익화를 제한하고 있다. 틱톡은 AI 생성 콘텐츠에 대한 라벨 표시를 의무화하고 있으며, 인스타그램 역시 AI 콘텐츠 표시 기능을 테스트하고 있다. 플랫폼 산업 전반이 AI 콘텐츠 확산에 대응하는 새로운 규제 단계에 들어갔다는 평가가 나온다.

AI 콘텐츠 규제는 기술 문제를 넘어 철학적 논쟁이기도 하다. 규제론자들은 AI 콘텐츠가 플랫폼 품질을 떨어뜨리고 허위 정보 확산을 촉진하며 기존 창작자의 수익 구조를 침해할 수 있다고 주장한다. 반면 낙관론자들은 AI가 콘텐츠 제작의 장벽을 낮춰 창작 민주화를 가능하게 하고 새로운 형태의 크리에이터 경제를 만들어낼 것이라고 본다. 결국 핵심 문제는 AI 기술 자체보다 플랫폼 알고리즘과 인센티브 구조에 있다는 분석이 많다.

앞으로 AI 콘텐츠 확산은 플랫폼 산업의 핵심 경쟁 요소로 자리 잡을 가능성이 크다. 향후 경쟁은 크게 세 가지 영역에서 전개될 것으로 전망된다. 첫째는 AI 콘텐츠 식별 기술이다. 콘텐츠 생성 과정을 추적하는 provenance 기술과 AI 탐지 기술이 중요한 역할을 하게 될 것으로 보인다. 둘째는 창작자 보호 시스템이다. 자동 저작권 보호와 콘텐츠 소유권 관리 기술이 플랫폼 경쟁력의 핵심 요소가 될 가능성이 있다. 셋째는 알고리즘 평가 방식의 변화다. 참여도 중심 평가에서 진정성과 품질 중심 평가로의 전환이 중요한 흐름으로 떠오르고 있다.

페이스북의 이번 조치는 단순한 스팸 단속이 아니다. 이는 생성형 AI 시대에 콘텐츠 플랫폼이 어떻게 생태계를 유지할 것인가라는 질문에 대한 첫 번째 대응으로 볼 수 있다. AI는 콘텐츠 생산의 장벽을 무너뜨렸지만, 그 결과 콘텐츠 과잉이라는 새로운 문제를 만들어냈다.

이제 플랫폼이 직면한 과제는 단순히 더 많은 콘텐츠를 보여주는 것이 아니라 그 가운데에서 의미 있는 콘텐츠와 진짜 창작자의 목소리를 어떻게 발견할 것인가이다. 메타가 이번 정책을 통해 지키려는 것은 알고리즘 자체가 아니라 플랫폼에서 ‘진짜 목소리’를 찾을 수 있는 가능성이라는 평가가 나온다.