AI 사고의 책임, 기술이 아니라 기업에 물어야 하는 이유 > 시사컬럼

AI 사고의 책임, 기술이 아니라 기업에 물어야 하는 이유

인공지능이 잘못된 판단을 내리거나 개인정보 침해, 서비스 장애, 부당한 자동결정과 연결됐을 때 책임은 어디에 있어야 할까. 최근 호주 메디케어 보안 침해 논란에서 이른바 ‘AI 에이전트’가 연루됐다는 주장이 나오면서, 기술의 자율성과 운영 주체의 책임을 둘러싼 질문이 다시 커지고 있다.

핵심은 AI가 스스로 행동한 것처럼 보인다는 이유로 책임의 주체가 흐려져서는 안 된다는 데 있다. AI 시스템은 누군가가 설계하고, 학습시킬 데이터를 고르고, 접근 권한과 작동 범위를 정하며, 실제 업무 환경에 배치한 결과물이다. 오류가 발생했다면 단지 ‘알고리즘의 실수’라고 부르는 것으로 충분하지 않다. 그 시스템을 시장과 공공 서비스에 투입한 기업과 기관의 판단을 함께 따져야 한다.

통신 서비스가 대규모로 중단됐을 때 이용자들은 네트워크 장비나 소프트웨어 자체에 책임을 묻기보다 서비스를 제공한 기업에 설명과 보상을 요구한다. 텔스트라와 옵투스의 서비스 장애 사례에서도 마찬가지였다. 이용자는 계약을 맺은 기업을 신뢰하고 서비스를 이용하며, 기업은 그 대가로 운영 권한과 수익을 얻는다. AI가 들어갔다고 해서 이 기본 원칙이 달라질 이유는 없다.

‘고칠 수 없다’는 말은 면책 사유가 될 수 없다

전통적인 소프트웨어는 문제가 생기면 코드의 특정 부분을 찾아 수정하는 방식으로 대응할 수 있다. 반면 대규모 AI 모델은 매우 많은 매개변수와 복잡한 학습 과정을 거치므로, 특정 오류가 정확히 왜 발생했는지 추적하거나 하나의 원인만 골라 고치기 어렵다. 이 기술적 특성은 실제로 중요한 난제다.

하지만 원인을 완벽히 설명하기 어렵다는 사실이 피해에 대한 책임까지 없앤다는 뜻은 아니다. 오히려 설명과 통제가 어려운 시스템일수록 도입 전 검증, 권한 제한, 인간의 최종 확인, 비상 중지 절차를 더 엄격히 갖춰야 한다. 특히 의료·복지·금융·고용·이민처럼 개인의 권리와 생활에 직접 영향을 주는 영역에서는 ‘일단 출시하고 나중에 고친다’는 방식이 받아들여지기 어렵다.

기업 책임을 강화하면 AI 개발 속도가 다소 느려질 수 있다는 우려도 있다. 그러나 속도 저하가 반드시 혁신의 후퇴를 의미하지는 않는다. 피해 비용을 사회와 이용자에게 떠넘기는 성장이라면, 그 속도는 처음부터 과도했을 가능성이 크다. 법적·재정적 책임이 분명해질수록 기업은 위험한 기능을 무분별하게 공개하기보다, 어떤 업무에 AI를 쓰지 말아야 하는지부터 검토하게 된다.

책임의 기준은 이용자가 확인할 수 있어야 한다

기업에 모든 결과를 무제한으로 떠넘기자는 주장은 아니다. AI 공급사, 이를 서비스에 결합한 사업자, 실제 사용 기관, 그리고 고의로 악용한 이용자의 책임은 사건마다 구분돼야 한다. 다만 이용자가 복잡한 공급망과 기술 구조를 직접 파헤쳐 피해 구제를 받아야 하는 구조는 현실적이지 않다. 서비스를 제공한 쪽이 먼저 설명하고, 조사하며, 필요한 구제 절차를 마련하는 것이 출발점이 돼야 한다.

호주에서 AI 활용이 빠르게 넓어지는 만큼 기업과 공공기관은 몇 가지 질문에 답할 준비가 필요하다. 어떤 개인정보가 AI 시스템에 들어가는지, 외부 도구에 어떤 접근 권한을 주는지, 오류가 발견되면 누가 즉시 중단할 수 있는지, 피해가 발생했을 때 이용자는 어디에 신고하고 어떤 지원을 받는지다. AI 시대에 필요한 것은 기술에 책임을 떠넘기는 언어가 아니라, 기술을 선택하고 운영한 조직이 책임을 지는 제도와 문화다.