실습 4 — 가리고 가명으로 바꿔 LLM 에 보내기

import hashlib
import hmac
import json
import os
import re
import secrets
from pathlib import Path

import pandas as pd

PATTERNS = json.loads(Path("out_pii_patterns.json").read_text(encoding="utf-8"))
records = pd.read_csv("cs_records.csv")


def mask(text):
    """찾은 개인정보를 [종류] 로 바꾼다. 누구의 것인지는 남기지 않는다"""
    for kind, p in PATTERNS.items():
        text = re.sub(p, f"[{kind}]", text)
    return text


for m in records["메모"].iloc[[2, 3]]:
    # 결과: 원래 메모와 가린 메모
    print(m, "\n→", mask(m))

# 시험용 비밀 키. 실제로는 사내 비밀 저장소에서 읽는다(13차시)
os.environ.setdefault("PII_KEY", secrets.token_hex(16))
KEY = os.environ["PII_KEY"].encode()
vault = {}                                     # 가명 → 원래 값. 권한 있는 사람만 연다


def pseudonymize(text):
    def repl(kind):
        def inner(m):
            value = re.sub(r"[\s-]", "", m.group(0))      # 꼴이 달라도 같은 번호면 같은 가명이 되게 다듬는다
            token = f"[{kind}_{hmac.new(KEY, value.encode(), hashlib.sha256).hexdigest()[:4]}]"
            vault[token] = m.group(0)
            return token
        return inner
    for kind, p in PATTERNS.items():
        text = re.sub(p, repl(kind), text)
    return text


records["가명"] = records["메모"].map(pseudonymize)
print(records["가명"].iloc[2])
# 결과: 같은 전화번호는 다른 메모에서도 같은 가명이다(같은 사람의 문의를 이어 볼 수 있다)
phones = [t for t in vault if t.startswith("[전화")]
print("서로 다른 전화 가명", len(phones), "개 · 금고 크기", len(vault))

import sys

sys.path.insert(0, ".")
import out_secbot as bot                       # 실습 1의 chat() 을 쓴다

SYSTEM = "상담 메모를 한 문장으로 요약하세요. [종류_기호] 꼴의 표시는 바꾸지 말고 그대로 쓰세요."
rows = []
for i in [2, 3, 7]:
    summary = bot.chat(SYSTEM, records["가명"].iloc[i])
    found = [g for kind, p in PATTERNS.items() for g in re.findall(p, summary)]
    rows.append({"번호": int(records["번호"].iloc[i]), "요약": summary, "요약에 남은 개인정보": len(found)})
out = pd.DataFrame(rows)
# 결과: LLM 은 가명만 보았으므로, 요약에도 원래 개인정보가 없다
print(out.to_string(index=False))

def reveal(text, user_role):
    """상담 팀장만 가명을 원래 값으로 되돌린다. 되돌린 사람과 개수를 기록한다"""
    if user_role != "상담팀장":
        return text, 0
    n = 0
    for token, value in vault.items():
        if token in text:
            text, n = text.replace(token, value), n + 1
    return text, n


s = out["요약"].iloc[0]
for role in ["인턴", "상담팀장"]:
    shown, n = reveal(s, role)
    # 결과: 인턴에게는 가명 그대로, 상담팀장에게는 원래 값. 기록에는 되돌린 개수만 남긴다
    print(f"{role}: {shown} (되돌림 {n}개)")