먼저 큰 그림부터

은행 창구를 떠올려 봅니다. 창구 직원은 손님의 말을 듣고 일을 처리하지만, "지점장이 시켰다"는 쪽지 한 장에 금고를 열지는 않습니다. 주민등록번호가 적힌 서류는 가려서 보관합니다. 직급에 따라 볼 수 있는 서류가 다릅니다. 금고와 전산실은 은행 건물 안에 두고, 규칙이 바뀌면 점검을 거쳐 모든 창구에 한꺼번에 적용합니다. 사내 AI 서비스를 안전하게 내놓는 일도 이와 같습니다.

이 장에서는 세 가지를 챙겨 갑니다.

• 공격과 방어: 프롬프트 인젝션을 직접 걸어 보고, 입력·자료·출력을 겹겹이 검사해 막습니다. 공격 묶음으로 재는 Red Teaming 과, 보안 시험을 배포 과정에 넣는 LLMSecOps 를 봅니다.
• 데이터 보호와 거버넌스: 개인정보를 찾아 가리고, 문서 등급에 따라 검색 단계에서 걸러 내고, 위험에 맞춰 책임과 기록을 정합니다.
• 인프라와 자동화: 모델에 필요한 GPU 메모리를 셈하고, 점검을 CI/CD 로 자동화합니다.

마지막 프로젝트는 과정 전체를 묶는 종합 점검입니다. 6장부터 만든 RAG 챗봇을 대상으로 인젝션, 개인정보, 접근 제어, 품질, 용량을 한 번에 점검하는 스크립트를 만듭니다. 공격문과 데이터는 모두 지어낸 연습용이며, 이 PC 의 Ollama qwen2.5:3b 로 실제로 시험했습니다.