Writing Materials · Story Foundation

AI 출시를 멈추는 책임 장부

채용·대출·복지처럼 삶에 직접 영향을 미치는 AI가 작동하기 직전, 기술 성능이 아니라 누가 위험을 승인했고 누가 이의를 받아줄 것인지를 증명해야 한다면 어떨까. 책임자의 이름과 재심 절차가 비어 있는 순간 출시 버튼이 잠기는 가까운 미래를 다룬다.

Why now

NIST AI 위험관리 프레임워크는 설계부터 운영까지 AI 위험을 관리하는 자율 체계를 제시하고, EU AI Act는 시스템의 역할과 위험 수준에 따라 법적 의무를 부과한다. UNESCO의 AI 윤리 권고는 여기에 인권·존엄·투명성·인간 감독 원칙을 더한다. 자율 지침, 법적 의무, 윤리 원칙이 동시에 제품 운영으로 내려오는 지금은 책임이 실제 권한인지 잘 꾸민 문서인지 드라마로 시험하기 좋은 시점이다.

Story direction

2032년, 공공기관에 AI 채용 심사 시스템을 납품하는 스타트업의 제품책임자 서윤은 출시 승인 화면에서 마지막 두 칸을 채우지 못한다. 장애 지원자를 반복해서 탈락시킨 모델의 남은 위험을 누가 승인했는지, 당사자의 이의를 누가 다시 심사할지가 비어 있기 때문이다. 새 조달 규칙은 두 이름과 검증된 재심 절차가 없으면 배포 버튼을 열어 주지 않는다.

투자사는 마감 전에 형식상 책임자를 적으라고 압박하고, 법무팀은 책임 장부를 회사를 보호할 문서로 만들려 한다. 반면 내부 평가자는 NIST식 위험 기록, EU AI Act의 역할별 의무, UNESCO의 인권 원칙을 하나의 실제 절차로 연결해야 한다고 맞선다. 서윤은 자신의 이름을 최종 책임자로 올리는 대신, 탈락 당사자가 결정 근거를 보고 사람에게 재심을 요구할 수 있는 기능을 제품에 넣자고 제안한다. 그러면 출시가 늦어지고 계약을 잃을 수도 있다.

출시 전날, 첫 이의 신청이 접수되면서 책임 장부는 문서가 아니라 권한의 지도였음이 드러난다. 서윤은 버튼을 열기 위해 책임을 적을 것인지, 실제로 책임질 수 있을 때까지 버튼을 잠가 둘 것인지 선택해야 한다. 핵심 갈등은 규정 준수와 실질적 구제, 조직의 생존과 개인의 책임 사이에 놓인다. 장르는 근미래 제도 스릴러와 직장 드라마의 결합이 어울린다.

Grounding points

Source material

Sources

Back to Writing Materials