AI가 기업의 실제 업무에 참여하기 시작하면서 AI를 활용하기 위한 조건도 달라지고 있다. 기업의 데이터를 검색하고 여러 프로그램을 연결하며, 필요한 도구를 골라 작업을 수행하려면 정확한 답변을 생성하는 능력만으로는 부족하다. 업무에 필요한 시스템에 접근하고, 작업의 진행 상황과 결과를 관리할 수 있는 실행환경이 함께 갖춰져야 하기 때문이다.

더불어, AI가 맡는 업무가 늘어나는 만큼 관리해야 할 영역도 넓어진다. AI가 활용하는 데이터와 외부 서비스, 컴퓨팅 자원에는 각각 접근 권한과 이용 조건이 따른다. 이 권한이 제대로 관리되지 않으면 기업의 AI 자원이 외부에 악용되거나 예상치 못한 비용이 발생할 수 있다. AI 활용 범위를 넓히는 일과 이를 안전하게 운영하는 일이 이제는 따로 떼어 생각하기 어려운 과제가 된 셈이다.

Microsoft의 ‘Secure the Agentic Insider’ 개념도; https://www.microsoft.com/en-us/security/blog/2026/10/19/agents-are-your-newest-insiders-security-must-move-at-their-speed/?trk=public_post_comment-text
Microsoft의 ‘Secure the Agentic Insider’ 개념도; https://www.microsoft.com/en-us/security/blog/2026/10/19/agents-are-your-newest-insiders-security-must-move-at-their-speed/?trk=public_post_comment-text

최근 Microsoft와 Google의 발표는 이러한 변화를 서로 다른 측면에서 보여준다. Microsoft는 AI 에이전트가 다양한 도구를 연결해 업무를 수행할 수 있도록 지원하는 ‘Copilot Harness’를 공개했다. Google은 탈취한 인증정보로 기업의 AI 서비스와 컴퓨팅 자원을 무단으로 사용하는 ‘LLMJacking’ 공격 사례를 발표했다. 두 사례는 직접적인 관련이 없지만, 나란히 놓고 보면 같은 흐름을 가리킨다. 하나는 AI가 일하는 환경이 넓어지고 있음을, 다른 하나는 그 환경에서 지켜야 할 자원과 권한이 그만큼 중요해졌음을 보여준다.

AI가 업무를 수행할 수 있는 환경, 코파일럿 하네스(Copilot Harness)

Microsoft는 지난 10월 28일, Microsoft Foundry Agent Service에서 ‘마이크로소프트 코파일럿 하네스(Microsoft Copilot Harness)’를 공개 프리뷰로 제공한다고 발표했다. '하네스(Harness)'는 AI 모델이 실제로 일을 해낼 수 있도록 받쳐주는 주변 시스템을 말한다. '코파일럿 하네스'는 AI 에이전트가 여러 도구와 데이터를 활용해 복잡한 작업을 수행할 수 있도록 지원하는 관리형 실행환경으로, GitHub Copilot과 Copilot Studio 등 Microsoft의 Copilot 제품에 쓰여온 실행 구조를 개발자에게 개방한 것이다.

https://www.youtube.com/watch?v=N0cNzeCUeK4
Microsoft Copilot Harness의 Foundry Agent Service 데모 화면. 에이전트가 스킬, 도구, 샌드박스 실행환경 등을 활용해 작업을 수행하는 구조를 보여준다.; https://www.youtube.com/watch?v=N0cNzeCUeK4

코파일럿 하네스의 기능은 크게 네 가지로 나뉜다. 반복되는 업무 절차를 묶어 재사용하는 스킬(Skills), 외부 서비스와 연결하는 도구(Tools), 파일과 코드를 다루고 하위 에이전트에 작업을 나눠 맡기는 실행·위임 기능, 그리고 에이전트의 설정을 애플리케이션 코드와 함께 관리하는 기능이다. 개발자는 AI가 해야 할 일을 정의하고, 실제 실행은 Microsoft가 운영하는 환경에 맡기는 구조다.

예를 들어 시장조사 보고서를 작성하는 AI 에이전트를 만든다고 해보자. AI는 지정된 자료를 수집하고 데이터를 분석해 그 결과를 보고서로 정리한다. 개발자는 어떤 자료와 도구를 쓸지, 어떤 절차를 따를지를 정해두고 AI가 그 범위 안에서 움직이도록 구성한다. Microsoft 역시 공식 발표에서 이런 조사·분석 업무를 대표적인 활용 사례로 들었다.

물론 AI가 기업의 모든 시스템에 자유롭게 접근하는 것은 아니다. 도구 연결과 실행 권한은 개발자가 설정한 인증과 승인 조건에 따라 제한된다. 또한 아직 공개 프리뷰 단계인 만큼, 실제 운영환경에 바로 적용하기에는 제약이 따른다.

그럼에도 이번 발표는 기업용 AI의 경쟁이 어디로 옮겨가고 있는지를 보여준다. 이제는 AI 모델이 얼마나 정확한 답을 내놓는지뿐 아니라, 여러 도구를 활용해 실제 업무를 얼마나 안정적으로 끝까지 해내는지가 중요해졌다. 기업 AI를 받쳐주는 실행환경과 운영체계에 눈길이 쏠리는 이유다.

AI를 실행하는 권한이 공격 대상이 되다

AI가 기업의 업무 인프라로 자리 잡아 가면서, 이를 노리는 공격도 함께 나타나고 있다.

Google Threat Intelligence Group(GTIG)과 Mandiant는 11월 2일, 기업의 대규모 언어모델(LLM) 이용 권한을 탈취하는 ‘LLM재킹(LLMJacking)’ 공격 사례를 공개했다. 조사에 따르면 2026년 북미와 남미, 아시아·태평양 지역의 여러 기업에서 관련 침해 사고가 발생했다.

https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/?hl=en
LLMJacking으로 무단 사용된 AI API의 요청량 변화. 짧은 시간에 호출량이 급격히 증가한 모습을 보여준다.; https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/?hl=en

LLMJacking은 공격자가 다른 기업의 AI 서비스 이용 권한을 무단으로 확보해 AI 모델이나 클라우드 자원을 사용하는 공격이다. 기업이 비용을 지불하며 쓰는 AI 서비스를 외부 공격자가 대신 쓰는 셈이어서, 요금은 기업이 내고 혜택은 공격자가 가져간다.

공격자가 기업의 AI 서비스에 접근하는 경로는 여러 가지다. 인터넷에 노출된 AI 서비스의 접속 지점을 찾아내거나, 유출된 API 키와 클라우드 인증정보를 이용해 기업의 AI 서비스에 들어간다. 일부 사례에서는 공격자가 서비스 계정과 API 키를 추가로 만들거나, 꺼져 있던 AI 서비스를 직접 활성화해 이용량을 늘리기도 했다.

피해 규모도 작지 않다. Google은 하루 만에 10만 달러가 넘는 부정 사용요금이 발생한 사례와, 접근을 차단하기까지 누적 요금이 100만 달러에 이른 사례를 확인했다고 밝혔는데, 이는 공격자가 기업의 AI 자원을 얼마나 빠르게 소진할 수 있는지를 보여주는 수치다.

더 주목할 부분은 탈취한 권한이 다시 팔린다는 점이다. Google은 여러 기업에서 빼낸 API 키와 이용 권한을 하나로 묶어 제3자에게 재판매하는 ‘LLM 믹서(LLM Mixer)’까지 확인했다. 이용자의 요청을 탈취한 계정으로 넘겨주는 중계 서비스로, 요금은 피해 기업이 떠안고 수익은 공격자가 가져가는 방식이다.

이런 구조는 기존의 클라우드 자원 탈취와 닮은 면이 있지만, AI 모델 호출과 추론 서비스가 곧바로 돈이 된다는 점에서 절대 같지 않다. 과거에는 탈취한 서버의 연산능력을 암호화폐 채굴에 쓰는 방식이 대표적이었다면, LLMJacking에서는 AI 서비스 이용 권한과 추론 자원 그 자체가 거래된다. 때문에 피해가 쌓이는 속도도 비교할 수 없을 만큼 다르다. 암호화폐 채굴이 자원을 서서히 갉아먹는다면, LLMJacking은 불과 몇 시간 만에 막대한 요금을 발생시킬 수 있다. 기업의 AI 계정과 API 키가 단순한 접속 수단을 넘어, 그 자체로 경제적 가치를 지닌 자산이 된 셈이다.

AI 보안의 경계는 어디까지 확장되는가

Microsoft의 코파일럿 하네스와와 Google의 LLM재킹 사례는 직접적으로 연결된 사건은 아니다. 그러나 두 발표를 나란히 놓고 보면, 기업 AI 인프라가 확장되는 과정에서 무엇을 관리해야 하는지가 드러난다.

코파일럿 하네스가 보여주는 것은 AI에 도구와 실행환경을 연결해 더 많은 업무를 맡기는 흐름이다. 이를 위해서는 AI가 접근할 자료와 외부 서비스, 실행할 수 있는 명령, 사용할 인증정보를 미리 설정해야 한다. AI가 일을 많이 할수록 AI에게 건네는 권한도 많아지는 셈이다.

LLM재킹은 바로 그 권한이 공격자의 목표가 될 수 있음을 보여준다. 공격자는 기업에 허용된 서비스 이용 권한을 손에 넣어 모델을 호출하고 연산 자원을 소비한다. 이 경우 AI 서비스는 겉보기에 정상적으로 작동하기 때문에, 실제로 누가 쓰고 있는지, 사용량이 적절한지는 따로 확인하지 않으면 알아차리기 어렵다.

물론 이런 위협이 완전히 새로운 것은 아니다. 계정 탈취나 인증정보 유출, 권한 상승, 자원 무단 사용은 오래전부터 있어 온 보안 문제다. 달라진 것은 피해가 나타나는 방식이다. AI 서비스가 외부 도구와 연결되고 사용한 만큼 비용이 부과되면서, 익숙한 보안 문제가 순식간에 막대한 비용으로 번질 수 있게 됐다.

그래서 기업 AI의 보안은 이제 모델과 데이터를 지키는 데서 그치기 어렵다. AI가 어떤 시스템에 접근해 어떤 작업을 할 수 있는지, 사용량과 비용이 평소 범위를 벗어나지 않는지까지 함께 들여다봐야 한다. 권한은 꼭 필요한 만큼만 주고, API 키를 안전하게 관리하며, 이상한 사용량을 빠르게 알아채는 것처럼 이미 익숙한 보안 원칙을 AI 운영환경에도 꼼꼼히 적용하는 것이 출발점이다.

에이전트가 맡는 일이 복잡해질수록 필요한 권한은 늘어나고, 실행 과정도 더 잘게 나뉜다. AI에게 일할 수 있는 능력을 주는 일과 그 능력이 정해진 범위 안에서만 쓰이도록 하는 일은, 이제 따로 떼어 생각하기 어려운 하나의 과제가 되고 있다.

AI의 업무 능력만큼 중요한 운영과 통제

기업이 AI를 도입하는 목적은 더 좋은 답변을 얻는 데서 그치지 않는다. 반복 업무를 줄이고, 복잡한 작업을 자동화하며, 기존 시스템을 더 효율적으로 활용하려는 것이다. Microsoft의 Copilot Harness는 이런 요구에 맞춰 AI가 실제로 일할 수 있는 환경을 갖춰주려는 시도다.

하지만 AI에게 일을 맡긴다는 것은 곧 권한을 맡긴다는 뜻이기도 하다. 데이터와 도구, 외부 서비스, 실행 권한, 컴퓨팅 자원이 AI에게 열릴수록, 그 통로는 공격자에게도 같은 크기로 열린다. Google의 LLMJacking 보고서가 보여준 것은 이 통로가 이미 실제로 공략되고 있으며, 그 대가가 하루 수만 달러 단위의 청구서로 돌아올 수 있다는 사실이다.

문제는 속도의 차이다. 기업은 AI가 할 수 있는 일을 빠르게 늘려가고 있지만, AI가 무엇에 접근하고 어디까지 실행할 수 있는지, 누가 그 사용을 감시하고 비용과 책임을 떠안을지에 대한 고민은 아직 그 속도를 따라가지 못하고 있다. 실행환경을 관리형 서비스로 맡길수록 이 질문은 더 복잡해진다. 플랫폼이 실행을 대신 운영해 주더라도, 어떤 권한을 열어줄지 정하고 그 결과를 감당하는 것은 결국 기업의 몫이기 때문이다.

Microsoft가 제시한 기업용 AI 에이전트 운영 구조. Microsoft Foundry Agent Service와 Copilot Studio를 기반으로 업무·플랫폼·AI CoE의 역할을 구분한다.
Microsoft가 제시한 기업용 AI 에이전트 운영 구조. Microsoft Foundry Agent Service와 Copilot Studio를 기반으로 업무·플랫폼·AI CoE의 역할을 구분한다.; https://www.microsoft.com/en-us/security/blog/2026/10/19/agents-are-your-newest-insiders-security-must-move-at-their-speed/?trk=public_post_comment-text

AI가 무엇을 할 수 있는가는 여전히 중요한 질문이다. 그러나 이제는 그만큼, 혹은 그보다 먼저 물어야 할 질문이 생겼다. 우리는 AI에게 무엇을 허락했고, 그것이 의도한 대로만 쓰이고 있는지 알고 있는가. AI에게 더 많은 일을 맡기려는 기업이라면, 이 질문에 먼저 답할 수 있어야 한다.