생성형 인공지능(GenAI)의 급속한 발전으로 인해 여러 산업 전반에 걸쳐 혁신적인 기회가 생겼습니다. 그러나 이러한 발전은 개인정보 침해, 오용, 편향, 불공정 등의 위험에 대한 우려를 낳았습니다. 따라서 책임감 있는 개발과 배포가 필수입니다.
AI 애플리케이션은 점점 더 정교해지고 개발자들은 이를 중요한 시스템에 통합하고 있습니다. 따라서 기술 리더, 특히 CTO와 엔지니어링 및 AI 책임자(제품과 스택 전반에 AI 채택을 주도하는 책임자)는 관련 정책과 규정, 법률에 따라 안전하고 윤리적으로 AI를 사용하도록 보장해야 할 책임이 있습니다.
포괄적인 AI 안전 규정은 초기 단계에 있지만, CTO는 규제 의무가 실행되기까지 마냥 기다릴 수만은 없습니다. 대신 전체 제품 개발 주기에 안전 및 규정 준수 고려 사항을 통합하여 AI 거버넌스에 대해 선제적인 접근 방식을 취해야 합니다.
이 기사는 이러한 도전 과제를 탐구하는 시리즈의 첫 편입니다. 먼저, 이번 기사에서는 AI 안전 및 규정 준수 관행을 제품 개발 수명 주기에 통합하기 위한 다음 네 가지 주요 방안을 제시합니다.
AI 시스템의 개발, 배포, 운영을 위한 조직의 원칙, 정책, 절차를 명확하게 정의하는 포괄적인 AI 거버넌스 프레임워크를 구축합니다. 이 프레임워크는 명확한 역할, 책무, 책임 메커니즘, 위험 평가 프로토콜을 확립해야 합니다.
새로운 프레임워크의 예로는 NIST(미국 국립표준기술연구소)의 AI 위험 관리 프레임워크, AI 권리 장전을 위한 OSTP 청사진, 유럽연합(EU)의 AI 법, Google의 SAIF(Secure AI Framework) 등이 있습니다.
조직이 AI 거버넌스 프레임워크를 채택함에 따라 타사의 기초 모델에 대한 의존이 초래할 수 있는 영향에 대한 고찰이 매우 중요합니다. 해당되는 고려 사항에는 기초 모델에서 사용하는 앱의 데이터와 기초 모델 공급자의 서비스 약관에 따른 의무 등이 있습니다.
Google의 책임감 있는 AI 원칙 같은 AI 안전 원칙을 설계 과정에 처음부터 통합합니다.
AI 안전 원칙은 개발 주기 초반에 잠재적 위험과 문제를 식별하고 그 위험을 줄이는 것이 골자입니다. 예를 들면 학습이나 모델 유추에 있어 편향성을 줄이고 모델 동작의 설명 가능성을 보장하는 것입니다. 적대적 학습(안전하지 않은 출력 결과를 찾는 프롬프트를 사용해 LLM에 대해 레드 팀 테스트 수행) 같은 기법을 사용해 AI 모델이 공정하고 편향되지 않으며 견고한 방식으로 작동하도록 해야 합니다.
지속적인 모니터링과 감사를 통해 AI 시스템의 성능과 동작을 실시간으로 추적합니다. 목표는 잠재적 안전 문제나 이상이 더 큰 문제로 확대되기 전에 발견해서 해결하는 것입니다.
모델의 정확성, 공정성, 설명 가능성 등 주요 측정항목을 찾고 앱과 앱 모니터링의 기준선을 설정합니다. 기존 측정항목 외에도 Vertex AI Model Monitoring 같은 도구를 사용하여 사용자 행동 및 AI 모델 드리프트의 예상치 못한 변경 사항을 찾아보세요. 지속적인 감독을 할 수 있도록 데이터 로깅, 이상 탐색, 인간 참여형(Human-In-The-Loop) 메커니즘을 사용하여 이 작업을 수행합니다.
투명성과 설명 가능성의 문화를 동력으로 AI 의사 결정을 추진합니다. AI 시스템을 개발하는 모든 팀원이 설계, 학습, 배포, 운영에 참여하도록 문서화의 가이드라인, 측정항목, 역할을 명확하게 정의함으로써 투명성과 설명 가능성의 문화를 장려합니다.
또한 AI 시스템의 작동 방식과 한계, AI 시스템 의사 결정 이면에서 적용되는 근거에 대해 다양한 직무 부서 간 이해관계자에게 명확하고 접근 가능한 설명을 제공합니다. 이런 정보는 사용자, 규제 기관, 이해관계자 간에 신뢰를 조성합니다.
핵심적이고 중요한 시스템에서 AI의 역할이 커짐에 따라 AI와 AI를 사용하는 시스템과 조직의 성공에 있어 적절한 거버넌스가 필수입니다. 이 기사에서 제시한 네 가지 방안은 그 방향으로 나아가는 좋은 출발점이 될 것입니다.
그러나 이는 광범위하고 복잡한 영역으로, 시리즈 기사로 다룰 예정입니다. 여러분의 개발 작업과 앱에 AI를 안전하게 통합하기 위해 필요한 도구, 기법, 프로세스에 대해 자세히 알아보세요.
