AI에도 안전설계는 필수...AI 기업에 세 가지 핵심 의무를 부과
남은 과제는 "적용 범위의 확대, '위험한 AI' 개념 구체화, 사람"

“AI에 에어백을 달자.”

2025년 6월 12일, 뉴욕주 상원이 인공지능 시대의 첫 번째 안전장치를 마련했다. 주상원의원 앤드류 구나르데스(Andrew Gounardes)가 발의한 ‘RAISE법(Responsible AI Safety and Education Act)’이 상원을 통과하면서, 뉴욕은 AI 안전 입법의 선도주자로 떠올랐다.

이 법은 단순한 기술 규제가 아니다. AI가 생물무기 제작을 돕거나, 자동화된 범죄를 실행하거나, 악성 해커에게 탈취되어 악용될 수 있다는 현실적인 위험에 대한 대응책이다. 특히 1억 달러 이상을 투입해 고성능 AI 모델을 학습시키는 대형 기업들에게는, 이러한 위험을 방지하기 위한 ‘안전 계획’ 수립이 법적으로 의무화된다.

AI가 빠르게 똑똑해지는 만큼, 그 기술이 잘못된 손에 들어갔을 때의 파급력도 커진다. RAISE법은 그 가능성을 막기 위한 최소한의 안전벨트다. 뉴욕은 이제, AI 시대를 향한 질주에 가장 먼저 브레이크와 안전장치를 장착한 도시가 됐다.

AI에도 안전설계는 필수

2025년 6월 12일, 뉴욕주 상원이 미국 내 첫 AI 안전 입법을 통과시켰다. 법안의 이름은 ‘RAISE법(S6953B/A6453B)’. AI 기술의 무분별한 확산에 대비해 대형 기술 기업에 안전 계획 수립을 의무화하는 내용을 담고 있다.

이 법안을 공동 발의한 인물은 주상원의원 앤드류 구나르데스와 주하원의원 알렉스 보어스. 이들이 내세운 핵심 기준은 명확하다. 1억 달러 이상을 투입해 고성능 AI 모델을 훈련시킨 기업만이 법 적용 대상이다. 해당 기업들은 생물무기 제작, 자동화된 사이버범죄와 같은 고위험 시나리오를 상정해 위험성 평가와 사고 발생 시 보고 체계를 마련해야 한다.

만약 이러한 의무를 소홀히 한다면? 뉴욕주 법무장관이 직접 나서 민사적 제재를 가할 수 있는 권한도 포함됐다. 자율 규제에만 맡기기엔 위험이 너무 커졌다는 판단. RAISE법은 이제, 뉴욕이 기술과 안전의 균형을 가장 먼저 법으로 선언한 사례로 기록될 예정이다.

‘지금’이 AI 안전을 논할 때인 이유

인공지능은 이미 인간의 삶을 근본적으로 바꾸고 있다. 언어 생성 기술은 작가와 번역가의 도구가 되었고, 신약 개발의 속도는 AI 덕분에 몇 배 빨라졌다. 범죄 수사와 법률 자문, 고객 응대까지, 그 쓰임은 무궁무진하다. 하지만 그 이면에는 그림자도 짙게 드리워져 있다.

국제 AI 안전 보고서(International AI Safety Report)는 최근 보고서를 통해 우려를 담은 경고를 내놨다. 대규모 고용 시장의 충격, AI를 이용한 해킹과 생물학적 공격, 그리고 범용 AI가 인간의 통제력을 벗어날 가능성까지. 모두 단순한 우려가 아닌, 예측 가능한 미래로 보고 있다.

특히 OpenAI는 최신 모델이 “생물학적 위협을 재현하기 위한 계획 수립을 전문가 수준으로 지원할 수 있다”고 인정했다. 더 놀라운 건, 앞으로는 비전문가도 위험한 실험을 실행할 수 있는 수준에 도달할 수 있다는 전망이다.

'기술이 발전할수록 우리는 묻게 된다'

이 도구를 쥔 손이 누구인지, 그리고 그 손에 책임이라는 무게가 실려 있는지를.

“안전벨트 없는 자동차에 아이를 태우겠는가? 그럼 왜 보호 장치 없는 AI를 우리 아이들에게 허용해야 하는가?”

앤드류 구나르데스 의원의 발언이다. 기술이 인간의 삶에 스며드는 속도에 비해, 윤리와 책임의 속도는 여전히 한참 뒤처져 있다는 현실을 정면으로 지적했다.

그는 AI를 하나의 공공재(public good)로 바라봤다. 모든 사람이 사용할 수 있지만, 그만큼 모든 사람을 위험에 빠뜨릴 수도 있는 기술. 그렇기 때문에 더더욱 ‘책임감 있게 개발되고, 안전하게 배포되어야 한다’는 원칙이 법제화돼야 한다는 주장이다.

그동안 대형 AI 기업들은 “우리는 책임 있는 개발을 하겠다”며 자율적인 안전 계획 수립을 약속해왔다. 그러나 문제는, 그 약속이 법적 강제력 없이 언제든 흐려질 수 있다는 점이다. 아무리 선의를 앞세워도, 경쟁과 수익 앞에서는 쉽게 무너질 수 있다.

RAISE법은 AI 기업에 세 가지 핵심 의무를 부과했다.

정보 공개: AI 제품이 지닌 위험 요소와 안전 프로토콜을 투명하게 공개해야 한다.
사고 보고: 모델이 해킹되거나 비정상적으로 작동할 경우, 즉시 관련 사실을 보고해야 한다.
법적 책임: 이 기준을 지키지 않을 경우, 뉴욕주 법무장관이 직접 민사 제재에 나설 수 있다.

이제 AI 안전은 기업의 자율에만 기대지 않는다. 공공이 감시하고, 법이 보호하는 시스템이 시작된 것이다.

글로벌 규범의 신호탄? 뉴욕발 AI 법안

이번 입법은 미국 연방정부는 물론, 유럽연합(EU)의 AI법(AI Act)이나 영국의 AI 세이프티 서밋 등 국제적인 AI 규범 논의와도 흐름을 같이 한다. 뉴욕주가 가장 먼저 행동에 나섰다는 점에서, 국제적 선례로 기능할 가능성이 높다.

RAISE법이 특히 주목받는 이유는 ‘현실적인 경계선’을 정했다는 점이다. 아무 기업이나 규제 대상이 아니다. AI 모델 학습에 1억 달러 이상을 투자한 초대형 기업만을 대상으로 한다. 또한 ‘AI가 생물무기를 만드는 데 도움을 준다’거나, ‘자동 범죄를 실행한다’는 식의 구체적이고 중대한 위험에 초점을 맞췄다.

그렇다고 해서 기술 발전을 막는 규제는 아니다. 오히려 기술의 자유와 사회적 안전 사이에서 균형을 맞추려는 법제적 실험에 가깝다. '멈추게 하려는 법'이 아니라, 더 안전하게 전진하게 만드는 법인 셈이다.

이런 맥락에서 RAISE법은 단지 뉴욕주의 한 페이지가 아니라, 향후 글로벌 AI 규범의 초안이 될 수도 있다.

RAISE법은 시작일 뿐

RAISE법이 통과되며 뉴욕은 인공지능 시대의 안전장치를 마련한 첫 도시가 됐다. 그러나 이 법은 어디까지나 출발선이다. 진짜 과제는 이제부터다.

우선 논의될 문제는 적용 범위의 확대다.

지금은 1억 달러 이상의 연산 자원을 투입한 대형 기업만이 법의 대상이지만, 실제로 AI 위협은 중소규모 스타트업이나 오픈소스 모델에서도 발생할 수 있다. 또 해외 기업이 뉴욕의 사용자에게 영향을 미치는 경우, 그 규제 가능성은 어떻게 설정해야 할까? 국경을 초월한 기술에 대한 규제 프레임이 필요해진다.

두 번째 과제는 ‘위험한 AI’라는 개념의 구체화다.

어떤 기술을 어디까지 ‘위험’이라 정의할 것인지, 어떤 수준의 리스크에 어떤 조치를 요구할 것인지, 평가와 감사 기준이 마련돼야 한다. 기술은 빠르게 진화하지만, 법은 명확해야 한다.

마지막으로 사람이다.

기술은 결국 사람이 설계하고 사용하는 도구다. 개발자, 정책 입안자, 심지어 이용자까지 AI 윤리와 책임에 대한 교육과 인식 제고가 병행되지 않으면, 어떤 규제도 껍데기에 불과하다.

AI는 여전히 무한한 가능성을 품은 기술이다. 하지만 그만큼 통제되지 않은 위험도 함께 자라고 있다. RAISE법은 그 균형을 지키기 위한 첫 걸음이자, “책임 있는 기술”이라는 시대의 숙제를 향한 첫 문장이다.

AI가 더 강력해지고, 더 넓은 영역을 관여하게 될수록 우리는 점점 더 근본적인 질문을 마주하게 될 것이다.

“이 기술은 누구를 위해 설계됐는가?”
“이 도구가 잘못 쓰였을 때, 그 책임은 누구의 것인가?”

기술은 중립적이지 않다. 그것이 향하는 방향을 결정하는 것은, 언제나 인간의 선택임을 명심해야 한다.