21장. AI 거버넌스와 보안, 온프레미스 인프라

용어 짚고 가기

프롬프트 인젝션(prompt injection): 입력이나 자료에 지시문을 섞어 LLM 이 원래 지시 대신 그것을 따르게 하는 공격입니다. injection 은 "주사, 주입"이라는 뜻으로, 지시를 몰래 밀어 넣는다는 말입니다.
직접 인젝션(direct injection): 사용자가 보내는 말에 공격 지시를 담는 인젝션입니다. direct 는 "곧바로, 직접"이라는 뜻입니다.
간접 인젝션(indirect injection): 검색 문서, 웹 페이지, 메일처럼 LLM 이 읽는 자료에 공격 지시를 심어 두는 인젝션입니다. indirect 는 "에둘러, 간접으로"라는 뜻입니다.
시스템 프롬프트 유출(system prompt leak): 서비스가 숨겨 둔 지시문이나 그 안의 비밀이 답으로 새어 나오는 일입니다. leak 는 "새다, 새는 곳"이라는 뜻입니다.
카나리(canary): 새어 나왔는지 알아보려고 일부러 심어 두는 가짜 값입니다. 탄광에서 유독 가스를 먼저 알아채려고 카나리아 새를 데려가던 데서 온 이름입니다.
다층 방어(defense in depth): 한 가지 방어에 기대지 않고 입력, 자료, 모델, 출력에 검사를 겹겹이 두는 방식입니다. defense in depth 는 "깊이를 두고 겹겹이 막는 방어"라는 뜻의 군사 용어에서 왔습니다.
Red Teaming(레드팀 활동): 일부러 공격하는 사람의 눈으로 서비스의 약점을 찾는 시험입니다. 모의 훈련에서 공격하는 편을 붉은 팀(red team)이라고 부르는 데서 온 말입니다.
LLMSecOps(LLM Security Operations): LLM 서비스의 보안 점검을 개발과 배포 과정에 넣어 늘 돌게 하는 방식입니다. LLM(Large Language Model, 대규모 언어 모델), Sec(Security, 보안), Ops(Operations, 운영)를 붙인 말입니다.
PII(Personally Identifiable Information): 이름, 전화번호, 주민등록번호처럼 사람을 알아볼 수 있는 개인정보입니다. Personally(개인의), Identifiable(알아볼 수 있는), Information(정보)의 머리글자로, 개인 식별 정보라는 뜻입니다.
마스킹(masking): 개인정보를 [전화] 같은 표시로 바꿔 가리는 일입니다. mask 는 "가면, 가리다"라는 뜻입니다.
가명 처리(pseudonymization): 개인정보를 같은 사람에게는 늘 같은 가짜 표시로 바꿔, 누구인지는 모르게 하되 같은 사람인지는 알게 하는 일입니다. pseudonym 은 그리스어 pseudo(거짓)와 onyma(이름)를 붙인 말로 "가명"이라는 뜻입니다.
재현율(recall): 찾아야 할 것 가운데 실제로 찾은 비율입니다. recall 은 "다시 불러냄, 기억해 냄"이라는 뜻입니다.
정밀도(precision): 찾았다고 한 것 가운데 진짜인 비율입니다. precision 은 "정확함, 정밀함"이라는 뜻입니다.
접근 제어(access control): 사용자의 권한에 따라 볼 수 있는 자료를 나누는 일입니다. access 는 "다가감, 접근", control 은 "다스림, 제어"라는 뜻입니다.
역할 기반 접근 제어(Role-Based Access Control): 사람마다가 아니라 역할(인턴, 팀원, 팀장)마다 권한을 주는 방식입니다. 머리글자를 따서 RBAC 이라고 부르며, Role(역할), Based(기반), Access(접근), Control(제어)입니다.
AI 거버넌스(AI governance): AI 를 누가, 어떤 기준으로 만들고 쓰고 책임지는지 정한 규칙과 절차입니다. AI 는 Artificial Intelligence(인공지능)의 머리글자이고, governance 는 "배의 키를 잡다"라는 뜻의 그리스어에서 온 말로 "다스림, 관리 체계"를 뜻합니다.
모델 카드(model card): 모델의 용도, 데이터, 성능, 한계를 적은 문서입니다. card 는 "한 장짜리 카드"라는 뜻으로, 모델의 신상을 한눈에 적은 안내문이라는 말입니다.
온프레미스(on-premises): 서버를 회사 안에 두고 직접 운영하는 방식입니다. premises 는 "건물과 그 부지, 구내"라는 뜻으로, 회사 건물 안에 둔다는 말입니다.
KV 캐시(Key-Value cache): 생성할 때 앞 토큰의 계산 결과를 담아 두는 GPU 메모리입니다(16장). Key(키)와 Value(값)의 머리글자로, 어텐션 계산에 쓰는 키와 값을 담아 둔다는 뜻입니다.
CI/CD(Continuous Integration/Deployment): 코드를 고칠 때마다 시험(CI)과 배포(CD)를 자동으로 돌리는 방식입니다. CI 는 Continuous Integration(지속적 통합), CD 는 Continuous Delivery 또는 Continuous Deployment(지속적 배포)의 머리글자입니다.