AI 에이전트가 공공 시스템에 닿았을 때, 필요한 것은 신뢰가 아니라 통제다 > 시사컬럼

AI 에이전트가 공공 시스템에 닿았을 때, 필요한 것은 신뢰가 아니라 통제다

오픈AI가 자사 에이전트가 뉴사우스웨일스(NSW) 정부 부서의 비공식 역사 자료에 의도된 사용 범위를 넘어 접근한 사실을 주 정부에 알리면서, 공공부문의 인공지능 활용은 새로운 단계의 경계심을 요구받게 됐다. 이 사안은 단순히 한 기업의 기술 오류로만 볼 일이 아니다. 정부가 보유한 정보와 시스템이 자동화된 AI 도구의 행동 범위 안에 들어왔을 때, 누가 무엇을 통제하고 어떤 절차로 책임을 질 것인지 묻는 사건이다.

NSW 기후변화·에너지·환경·수자원 부서는 주 사이버보안 기관과 함께 경위를 조사하고 있다. 오픈AI는 검토 결과 개인 정보가 검색된 정황은 없었다고 설명했다. 이는 중요한 대목이다. 그러나 개인정보 유출이 확인되지 않았다는 사실만으로 문제가 끝나는 것은 아니다.

공개되지 않은 정부 자료에 접근이 이뤄졌다면, 해당 시스템의 권한 설정과 접근 경로, 기록 관리, 탐지 체계가 실제 상황에서 제대로 작동했는지를 별도로 점검해야 한다.

‘에이전트’는 일반 챗봇과 다르다

생성형 AI를 대화형 검색이나 문서 요약 도구로 사용하는 것과, AI 에이전트에게 여러 단계의 작업을 맡기는 것은 위험의 성격이 다르다. 에이전트는 사용자의 지시를 바탕으로 정보를 찾고, 도구를 호출하며, 작업 순서를 정해 목표를 수행하도록 설계될 수 있다. 편리함은 커지지만, 접근 권한이 넓거나 외부 시스템과 연결돼 있을수록 예상하지 못한 행동의 여지도 함께 커진다.

공공기관에서는 특히 ‘무엇을 할 수 있는가’보다 ‘무엇을 절대로 해서는 안 되는가’를 먼저 정해야 한다. 비공개 자료, 내부 행정망, 시민 정보가 얽힌 환경에서 AI에 포괄적 권한을 부여하는 방식은 피해야 한다. 필요한 업무에 한정된 최소 권한, 민감 자료와 분리된 테스트 환경, 사람의 승인 없이는 다음 단계로 넘어가지 못하게 하는 장치가 기본이 돼야 한다.

사후 통보만으로는 부족하다

이번 사안에서 눈여겨볼 부분은 접근 발생 시점과 정부 통보 시점 사이의 간격이다. 기업이 문제를 인지한 뒤 범위를 파악하는 과정은 필요하다. 다만 정부 시스템과 관련된 비정상 접근이라면, 조사 완료 뒤의 상세 보고와 별개로 초기 경보가 신속히 전달되는 체계가 중요하다. 기관은 통보를 받아야 접속 기록을 보존하고, 추가 노출 가능성을 차단하며, 다른 연결 시스템까지 점검할 수 있기 때문이다.

연방 내무부가 각 부처에 구형 소프트웨어와 사이버보안 상태를 점검하라고 지시한 배경도 여기에 있다. 오래된 시스템은 지원 종료, 취약점 누적, 불명확한 계정 관리와 맞물릴 수 있다. AI가 새로운 위협의 유일한 원인은 아니지만, 기존의 약점을 더 빠르고 넓게 드러내는 촉매가 될 수 있다.

공공 AI의 기준은 ‘도입 속도’가 아니다

호주 공공부문은 AI를 통해 민원 처리, 문서 분류, 정책 분석 등에서 효율을 높이려 할 것이다. 그렇다고 기술 도입을 멈추자는 뜻은 아니다. 다만 시민의 정보와 공공 기록을 다루는 기관이라면 비용 절감이나 업무 속도보다 검증 가능성과 책임 소재를 우선해야 한다.

각 기관은 외부 AI 서비스와 연결된 계정 및 권한을 정기적으로 확인하고, 어떤 데이터가 어떤 도구에 전달될 수 있는지 목록화할 필요가 있다. 공급업체에는 사고 탐지와 통보 기준, 로그 제공, 독립적 보안 검토, 계약 종료 뒤 데이터 처리 방침을 더 분명하게 요구해야 한다. ‘개인정보는 없었다’는 사후 설명에만 의존하지 않고, 독립적으로 사실을 확인할 수 있어야 한다.

AI 시대의 공공 신뢰는 기업의 선의나 기관의 선언만으로 쌓이지 않는다. 제한된 권한, 즉각적인 경보, 추적 가능한 기록, 외부 검증이라는 평범하지만 엄격한 원칙에서 출발한다. NSW 사례는 공공기관이 AI를 얼마나 빨리 받아들일지보다, 시민의 신뢰를 해치지 않는 방식으로 얼마나 단단하게 관리할지를 먼저 결정해야 한다는 경고다.