21장. AI 거버넌스와 보안, 온프레미스 인프라

정리

• LLM 서비스의 위협은 사용자의 말, 검색 자료, 프롬프트, 도구, 답의 다섯 지점에 있습니다. OWASP 의 LLM 위협 목록으로 빠진 곳을 점검합니다.
• 프롬프트 인젝션은 지시와 자료가 한 글로 섞여서 생깁니다. 직접 인젝션은 사용자가, 간접 인젝션은 검색 자료가 들여옵니다.
• 인젝션은 입력 검사, 자료 검사, 지시·자료 나누기, 출력 검사를 겹겹이 두어 막고, 지킬 비밀은 처음부터 프롬프트에 넣지 않습니다.
• Red Teaming 은 고정한 공격 묶음으로 성공률과 정상 질문의 통과율을 함께 재고, LLMSecOps 는 이 시험을 배포 과정에 넣습니다.
• 개인정보는 정규식으로 찾아 가리고, 같은 값은 비밀 키의 HMAC 으로 같은 가명이 되게 합니다. 경계를 두지 않은 패턴은 오탐을 내고, 이름처럼 꼴이 없는 것은 놓칩니다.
• 접근 제어는 검색하기 전에 볼 수 있는 문서만 남깁니다. 프롬프트에 "말하지 말라"고 적는 것은 방어가 아닙니다.
• 거버넌스는 쓰임새의 위험에 맞춰 책임자, 기록, 사람의 최종 결정을 정하고, 모델 카드로 용도와 한계를 남깁니다.
• GPU 메모리는 가중치(파라미터 × 비트)와 KV 캐시(층 × KV 헤드 × 헤드 크기 × 토큰 × 사용자)로 셈하고, 점검은 CI/CD 에 넣어 실패하면 배포를 멈춥니다.