실습 2 — 바뀐 문서만 찾기

import hashlib
from pathlib import Path

import pandas as pd


def fingerprint(text):
    """내용의 지문: sha256 의 앞 12글자. 한 글자만 달라도 바뀐다"""
    return hashlib.sha256(text.encode("utf-8")).hexdigest()[:12]


def snapshot(day):
    """그 밤에 내보낸 문서 전체: {문서 이름: 글}"""
    return {f.stem: f.read_text(encoding="utf-8") for f in sorted(Path(f"library/day{day}").glob("*.txt"))}


docs0 = snapshot(0)
manifest0 = {name: fingerprint(text) for name, text in docs0.items()}
# 결과: 문서 수와 앞의 세 문서의 지문
print(len(manifest0), "개 문서")
for name in list(manifest0)[:3]:
    print(name, manifest0[name])

def diff(old, new):
    """두 지문 목록을 견줘 문서마다 추가·수정·삭제·그대로를 정한다"""
    rows = []
    for name in sorted(set(old) | set(new)):
        if name not in old:
            kind = "추가"
        elif name not in new:
            kind = "삭제"
        elif old[name] != new[name]:
            kind = "수정"
        else:
            kind = "그대로"
        rows.append({"문서": name, "변경": kind})
    return pd.DataFrame(rows)


manifest1 = {name: fingerprint(text) for name, text in snapshot(1).items()}
d = diff(manifest0, manifest1)
# 결과: 바뀐 문서만, 그리고 변경 종류마다의 수
print(d[d["변경"] != "그대로"].to_string(index=False))
print(d["변경"].value_counts().to_dict())

def split_chunks(docs):
    """문서를 문단 조각으로 나눈다. 첫 문단은 제목이므로 빼고, 조각 앞에 문서 이름을 붙인다"""
    out = []
    for name, text in docs.items():
        paras = [p.strip() for p in text.split("\n\n") if p.strip()]
        out += [f"{name}: {p}" for p in paras[1:]]
    return out


chunks0 = {fingerprint(c) for c in split_chunks(docs0)}
chunks1 = split_chunks(snapshot(1))
# 새로 임베딩할 조각: 어젯밤 조각의 지문에 없는 것
new = [c for c in chunks1 if fingerprint(c) not in chunks0]
print(f"오늘 조각 {len(chunks1)}개 가운데 새로 임베딩할 조각 {len(new)}개")
for c in new:
    print(" -", c[:40])

def validate(docs, prev_count):
    """내보내기 검사. 문제 목록이 비어 있으면 통과"""
    problems = []
    if len(docs) < prev_count * 0.8:                       # 문서가 갑자기 20% 넘게 줄었다
        problems.append(f"문서 수 {prev_count}→{len(docs)}")
    empty = [n for n, t in docs.items() if not t.strip()]
    if empty:
        problems.append(f"빈 파일 {empty}")
    # '�'(�)는 글자를 읽지 못해 바꿔 넣은 글자다. 1% 넘게 섞였으면 인코딩이 깨진 것
    broken = [n for n, t in docs.items() if t and t.count("�") / len(t) > 0.01]
    if broken:
        problems.append(f"깨진 글자 {broken}")
    return problems


rows, prev = [], len(docs0)
for day in range(5):
    docs = snapshot(day)
    problems = validate(docs, prev)
    rows.append({"밤": day, "문서": len(docs), "검사": "통과" if not problems else "멈춤", "문제": "; ".join(problems)})
    if not problems:
        prev = len(docs)
# 결과: 다섯 밤의 검사 결과
print(pd.DataFrame(rows).to_string(index=False))