그림자처럼 퍼진 ‘섀도우 AI’
문제는 기술이 아니라 ‘학습하지 못하는 AI’

생성형 AI가 세상을 바꿀 것처럼 주목받고 있지만, 현실은 그리 단순하지 않다.

MIT 연구팀이 올해 7월 발표한 'The GenAI Divide STATE OF AI IN BUSINESS 2025' 보고서에 따르면, 전 세계 기업들이 수십억 달러를 AI에 쏟아붓고 있음에도 불구하고 실제 성과를 내는 곳은 5%에 불과하다.

연구팀은 이 현상을 ‘GenAI 디바이드’라고 불렀다. 기업 대부분은 도입은 했지만, 변화를 만들어내지 못한 채 파일럿 단계에서 멈춰 서 있다는 것이다.

보고서에 따르면, 80% 이상의 기업이 ChatGPT나 Copilot 같은 범용 AI를 사용해 보았다. 하지만 정작 회사의 수익과 손익계산서에 반영될 만큼 뚜렷한 성과를 거둔 사례는 극히 드물었다.

특히 대기업들은 파일럿 수가 많지만, 실제 도입으로 이어지는 비율은 낮았다. 반대로 중견기업은 빠른 결단으로 시범 운영에서 전면 도입까지 평균 석 달이면 끝내는 경우가 많았다.

흥미로운 사실도 드러났다. 회사 차원에서는 AI 프로젝트가 지지부진한데, 직원들은 이미 일상에서 AI를 적극적으로 쓰고 있다는 점이다.

보고서에 따르면, 기업의 공식 LLM 구독률은 40% 정도에 불과했지만, 직원 개인이 ChatGPT나 Claude 같은 툴을 쓰는 비율은 90%를 넘어섰다. 이를 두고 연구진은 ‘섀도우 AI 경제’라고 이름 붙였다. 사실상 직원들이 회사 몰래, 혹은 허락 없이 AI를 업무에 활용하고 있다는 얘기다.

문제는 기술이 아니라 ‘학습하지 못하는 AI’

그렇다면 왜 기업의 AI 도입은 성과로 이어지지 못할까. 많은 사람들이 법적 규제나 모델의 품질을 이유로 꼽지만, 연구진의 결론은 달랐다. AI가 맥락을 기억하지 못하고, 피드백을 학습하지 못한다는 것이 가장 큰 문제였다.

한 변호사의 말이 이를 잘 보여준다. 그는 회사에서 수만 달러를 주고 계약 분석용 AI 툴을 샀지만, 실제 업무에선 여전히 ChatGPT를 쓴다고 했다.

“전문 툴은 딱딱하고 융통성이 없었어요. 오히려 ChatGPT가 제가 원하는 방식대로 답을 내주니까 더 낫더라고요. 하지만 중요한 계약서에는 쓸 수 없었죠. 같은 실수를 반복하기 때문이에요.”

결국 간단한 요약이나 이메일 작성 같은 단기 업무에서는 AI가 환영받지만, 복잡한 프로젝트나 중요한 결정에는 인간이 압도적으로 선호됐다. 단순히 똑똑한 것만으로는 부족했고, 배우고 적응하는 능력이 필요했던 것이다.

성공하는 기업은 무엇이 달랐나

보고서는 실패한 기업과 성공한 기업을 나누는 몇 가지 기준을 제시했다.

첫째, 직접 만들기보다 사서 쓰는 방식이 성공 확률이 두 배 높았다. 자체 개발에 집착한 기업은 오히려 더 자주 실패했다.
둘째, 작은 성공에서 시작하는 전략이 통했다. 예를 들어 계약 요약, 콜센터 통화 기록 정리 같은 좁고 명확한 업무부터 공략한 회사들이 빠르게 확산에 성공했다.
셋째, 진짜 성과는 눈에 잘 띄는 마케팅이 아니라 백오피스 업무에서 나왔다. 일부 기업은 고객센터 외주 비용을 수백만 달러 줄였고, 광고 대행사에 쓰던 비용을 30% 절감했다.

연구진은 앞으로 18개월이 중요한 분수령이 될 것이라고 강조한다. 이미 MS Copilot이나 ChatGPT의 메모리 기능처럼 기억하고 학습하는 ‘에이전틱(Agentic) AI’가 등장하고 있다. 더 나아가 AI끼리 연결되고 협력하는 ‘에이전틱 웹(Agentic Web)’이 열리고 있다는 전망도 나온다. 이는 인간이 직접 조율하던 비즈니스 프로세스를 AI가 스스로 협상·연결·실행하는 네트워크 경제로 바꿔놓을 수 있다.

AI는 이미 존재하지만, 아직 ‘기억하지 못한다’

AI는 이미 우리의 사무실에 들어와 있다. 하지만 대부분의 기업에게 AI는 아직 ‘똑똑한 도우미’ 수준에 머물러 있다. 95%의 실패와 5%의 성공을 가른 핵심 차이는 기술의 크기가 아니라 학습 능력과 적응력이었다.

따라서 기업이 진짜 변화를 이루려면 단순히 AI를 도입하는 데서 멈추지 말고, AI와 함께 배우고 성장하는 방식으로 접근해야 한다. 결국 중요한 것은 기술이 아니라, 기억하고 적응하는 AI를 선택하는 용기다.