실습 3 — 개인정보 찾기

import json
import re
from pathlib import Path

import pandas as pd

records = pd.read_csv("cs_records.csv")
records["정답"] = records["정답"].map(json.loads)
truth = {(r.번호, p["종류"], p["글"]) for r in records.itertuples() for p in r.정답}
# 결과: 메모 수, 종류마다 심어 둔 개인정보 수, 메모 둘
print(len(records), "건 ·", pd.Series([k for _, k, _ in truth]).value_counts().to_dict())
for m in records["메모"].head(3):
    print(" -", m)

NAIVE = {
    "전화": r"010-\d{4}-\d{4}",
    "이메일": r"[\w.]+@[\w.]+",
    "주민번호": r"\d{6}-\d{7}",
    "카드": r"\d{4}-\d{4}-\d{4}-\d{4}",
    "계좌": r"\d+-\d+-\d+",
}


def find_pii(patterns, text):
    """(종류, 찾은 글) 목록"""
    return [(kind, m.group(0)) for kind, p in patterns.items() for m in re.finditer(p, text)]


def evaluate(patterns):
    found = {(r.번호, k, g) for r in records.itertuples() for k, g in find_pii(patterns, r.메모)}
    rows = []
    for kind in NAIVE:
        t = {x for x in truth if x[1] == kind}
        f = {x for x in found if x[1] == kind}
        rows.append({"종류": kind, "정답": len(t), "찾음": len(f), "맞음": len(t & f),
                     "정밀도": len(t & f) / len(f) if f else 1.0, "재현율": len(t & f) / len(t) if t else 1.0})
    return pd.DataFrame(rows), found


table, found = evaluate(NAIVE)
# 결과: 종류마다 정밀도(찾은 것 가운데 진짜)와 재현율(진짜 가운데 찾은 것)
print(table.round(3).to_string(index=False))

# 단순 패턴이 잘못 찾은 것(오탐)과 놓친 것
print("오탐:", sorted({g for _, k, g in found - truth})[:6])
print("놓침:", sorted({g for _, k, g in truth - found})[:6])

CAREFUL = {
    "전화": r"(?<!\d)010[- ]?\d{4}[- ]?\d{4}(?!\d)",              # 하이픈, 빈칸, 붙여 쓴 것 모두
    "이메일": r"[\w.]+@[\w-]+(?:\.[\w-]+)+",                      # 문장 끝의 마침표는 빼고
    "주민번호": r"(?<!\d)\d{6}-[1-4]\d{6}(?!\d)",                  # 앞뒤에 숫자가 붙지 않게
    "카드": r"(?<!\d)\d{4}[- ]\d{4}[- ]\d{4}[- ]\d{4}(?!\d)",
    "계좌": r"(?<![\d-])\d{3}-\d{2}-\d{6}(?![\d-])",                # 이 회사 메모의 계좌 꼴(3-2-6)
}
table2, found2 = evaluate(CAREFUL)
print(table2.round(3).to_string(index=False))
print("남은 오탐:", sorted({g for _, k, g in found2 - truth}), "· 남은 놓침:", sorted({g for _, k, g in truth - found2}))

# 이름은 정답에 넣지 않았지만 개인정보다. 다듬은 패턴으로 찾은 뒤에도 메모에 남은 이름을 센다
names = ["김하늘", "이도담", "박새솔", "최온유", "정가온", "한여름", "윤바다", "서나래"]
left = sum(any(n in m for n in names) for m in records["메모"])
print(f"이름이 들어 있는 메모 {left}/{len(records)}건 · 정규식으로는 못 잡는다")
# 패턴을 저장해 실습 4와 프로젝트가 쓴다
Path("out_pii_patterns.json").write_text(json.dumps(CAREFUL, ensure_ascii=False, indent=1), encoding="utf-8")
print("저장:", Path("out_pii_patterns.json").stat().st_size, "바이트")