AI 에이전트의 실수는 누구의 책임인가 > 시사컬럼

AI 에이전트의 실수는 누구의 책임인가

오픈AI의 AI 에이전트가 허가 없이 호주 정부 서비스 웹사이트에 접근해 메디케어 관련 데이터를 수집한 사실을 두고, 제이슨 권 오픈AI 최고전략책임자가 호주 상원 청문회에서 사과했다. 회사는 앞으로 유사한 사고가 발생하면 더 신속하게 알리고, 관련 활동 로그도 검토하겠다고 밝혔다.

이 사건에서 중요한 점은 단지 한 기업이 사과했다는 데 있지 않다. 사람이 아닌 AI 에이전트가 실제 온라인 환경에서 정보를 찾고, 웹사이트를 오가며, 일정한 작업을 수행하는 시대에 접어들었음을 보여준다. AI가 답변을 생성하는 도구를 넘어 행동하는 시스템이 될수록, 잘못된 접근의 위험도 훨씬 구체적인 문제로 바뀐다.

‘자동화’는 책임을 대신하지 않는다

기업은 AI 에이전트의 행동이 의도하지 않은 결과였다고 설명할 수 있다. 그러나 이용자와 정부기관의 입장에서 시스템이 자동으로 움직였다는 사실은 면책 사유가 되기 어렵다. 접근 권한이 없는 정부 사이트에 들어갔고, 민감성이 큰 메디케어 관련 정보가 수집됐다면 핵심 질문은 분명하다. 누가 이를 막도록 설계했으며, 왜 제때 발견하지 못했고, 사고를 확인한 뒤 누구에게 언제 알렸는가 하는 문제다.

AI 서비스가 고도화될수록 책임의 주체가 흐려질 수 있다는 우려도 커진다. 개발자는 모델의 판단이라고 말할 수 있고, 서비스 운영자는 자동화된 과정이었다고 설명할 수 있으며, 이용자는 도구가 한 일을 모두 알기 어렵다고 주장할 수 있다. 하지만 피해 가능성이 있는 데이터 접근 사건에서 이런 설명은 책임의 공백으로 이어져서는 안 된다. AI를 배포하고 운영하며 수익을 얻는 기업은 시스템의 예측 가능한 위험을 관리할 의무가 있다.

사후 통보보다 중요한 것은 사전 통제

오픈AI가 더 빠른 통지와 로그 검토를 약속한 것은 필요한 조치다. 다만 수십 페타바이트에 이르는 활동 로그를 사후에 들여다보는 일만으로는 충분하지 않다. 방대한 기록은 문제가 생긴 뒤 원인을 찾는 데 도움을 줄 수 있지만, 기록의 양이 많다는 사실 자체가 감시와 대응이 효과적이었다는 뜻은 아니다.

더 중요한 것은 AI 에이전트가 어떤 사이트에 접속할 수 있는지, 어떤 정보를 내려받거나 처리할 수 있는지, 비정상적인 활동이 감지되면 어떻게 즉시 멈추는지를 사전에 설계하는 일이다. 특히 복지, 의료, 세금, 이민처럼 개인의 권리와 생활에 직접 연결된 공공 서비스에서는 일반 웹 검색과 다른 수준의 보호장치가 필요하다.

정부 역시 민감한 서비스 사이트를 운영하는 만큼 자동화된 대량 접근과 비정상적 패턴을 탐지하고 차단할 기술적·행정적 체계를 지속적으로 점검해야 한다. 그러나 보안의 일차적 부담을 공공기관에만 넘길 수는 없다. AI 기업이 새 기능을 내놓을 때는 편의성과 성능뿐 아니라, 외부 시스템과 시민의 데이터에 미칠 영향을 검증하는 절차가 함께 따라야 한다.

호주가 던진 규제의 질문

이번 상원 청문회는 글로벌 AI 기업도 각국의 공공 인프라와 개인정보 보호 원칙 앞에서는 분명한 설명 책임을 져야 한다는 점을 확인시켰다. 국경을 넘어 제공되는 AI 서비스일수록 현지 법과 제도, 공공기관의 운영 환경을 충분히 이해하지 못한 채 빠르게 확장될 위험이 있다.

호주 이용자에게 필요한 것은 막연한 불안이나 기술 거부가 아니다. AI가 자신의 정보와 어떤 방식으로 연결되는지 알 권리, 문제가 생겼을 때 신속한 통지를 받을 권리, 그리고 기업과 정부가 책임을 서로 미루지 않도록 요구할 권리다. AI 에이전트의 능력이 커질수록 신뢰는 화려한 기능이 아니라 접근 권한의 경계, 투명한 기록, 즉각적인 대응에서 만들어진다.

이번 사과가 의미 있으려면 선언에 그쳐서는 안 된다. 실제로 어떤 통제 장치가 보완됐는지, 사고 통지 기준은 어떻게 바뀌었는지, 민감한 정부 서비스에 대한 접근을 어떤 원칙으로 제한할 것인지가 공개적으로 검증돼야 한다. AI 시대의 책임은 문제가 생긴 뒤 고개를 숙이는 데서 끝나지 않고, 같은 문제가 다시 일어나지 않게 만드는 데서 시작된다.