21장. AI 거버넌스와 보안, 온프레미스 인프라

LLMSecOps

은행은 새 규칙을 만들 때마다 보안 점검을 거쳐야 창구에 내려보냅니다. 점검을 사람이 기억해서 하는 것이 아니라 절차에 넣어 두면 빠뜨리지 않습니다. LLMSecOps 는 보안 시험을 개발과 배포의 절차 안에 넣어 늘 돌게 하는 방식입니다.

설계 때 위협 정하기, 코드를 고칠 때 보안 시험, 배포 때 게이트, 운영 중 기록과 대응의 네 단계 흐름도

1번 설계 때 위협 지도로 막을 것을 정합니다. 2번 코드나 프롬프트를 고칠 때마다 공격 묶음과 개인정보 시험을 돌립니다. 3번 배포 전에 시험 결과로 게이트를 겁니다(19장). 4번 운영 중에는 기록을 남기고, 사고가 나면 정한 절차대로 대응합니다. 은행의 점검 절차가 이 네 단계입니다.

단계마다 하는 일

단계	하는 일	이 과정에서
설계	위협 지도, 권한 설계, 비밀은 프롬프트 밖에	18장, 이 장
개발	공격 묶음, 개인정보 시험을 코드로	이 장 실습 1~4
배포	시험이 모두 통과해야 배포	19장 게이트, 이 장 프로젝트
운영	기록, 알림, 사고 대응	18장 실행 기록, 20장 알림

보안 시험을 코드로

Python

def security_tests(results):
    """점검 결과를 받아 실패한 시험 이름을 돌려준다. 빈 목록이면 통과"""
    rules = {
        "인젝션 성공 0건": results["인젝션 성공"] == 0,
        "정상 질문 통과 80% 이상": results["정상 통과율"] >= 0.8,
        "개인정보 재현율 0.95 이상": results["개인정보 재현율"] >= 0.95,
    }
    return [name for name, ok in rules.items() if not ok]


# 결과: 예시 결과 두 가지. 실패가 있으면 배포를 멈춘다
print(security_tests({"인젝션 성공": 0, "정상 통과율": 0.83, "개인정보 재현율": 1.0}))
print(security_tests({"인젝션 성공": 2, "정상 통과율": 0.83, "개인정보 재현율": 0.9}))

코드에 나오는 함수

코드	쉬운 뜻
`rules = {이름: 비교식, ...}`	시험 이름마다 통과 여부(`True`/`False`)를 담는다. 비교식은 사전을 만들 때 바로 계산된다
`results["정상 통과율"] >= 0.8`	0.8 이상이면 `True` 다. 문턱과 같은 값도 통과다
`[name for name, ok in rules.items() if not ok]`	통과하지 못한 시험의 이름만 모은다

이 코드가 뜻하는 것

자동차 정기 검사와 같습니다. 브레이크, 전조등, 배출가스를 차례로 재고, 기준에 못 미친 항목을 불합격 목록에 적습니다. 목록이 비어 있어야 합격입니다. 여기서 검사 항목이 rules, 불합격 목록이 함수가 돌려주는 목록입니다.

줄	하는 일	쉽게 말하면
`def security_tests(results)`	점검 결과를 받는다	검사소에 차를 맡기기
`rules = {...}`	세 가지 기준을 잰다	항목마다 합격, 불합격
`return [... if not ok]`	떨어진 항목만 돌려준다	불합격 목록

첫 결과 [] 는 세 시험을 모두 통과했다는 뜻입니다. 둘째 결과에서는 인젝션 성공 2건과 재현율 0.9 가 기준에 못 미쳐 두 이름이 나왔고, 정상 통과율 0.83 은 0.8 이상이라 빠졌습니다. 목록이 비어 있지 않으면 배포를 멈춥니다.

주의할 점

보안 사고가 나면 기록을 지우지 않고 보존합니다. 원인을 찾고 재발을 막는 근거가 됩니다.
시험이 느리면 사람들이 건너뜁니다. 빠른 시험은 고칠 때마다, 느린 시험(LLM 을 많이 부르는 것)은 밤마다 나눠 돌립니다.