실습 2 — 사내 문서 모으기

import csv, hashlib, io, json, zipfile
import xml.etree.ElementTree as ET
from html.parser import HTMLParser
from pathlib import Path
import pandas as pd

ROOT = Path("intranet")
listing = pd.read_csv(ROOT / "_문서목록.csv")          # 문서관리시스템에서 뽑은 목록(가상)
# 폴더 안의 모든 파일. "_" 로 시작하는 목록 파일은 뺀다
files = sorted(p.relative_to(ROOT).as_posix() for p in ROOT.rglob("*")
               if p.is_file() and not p.name.startswith("_"))
print("폴더의 파일:", len(files), "개 · 목록의 문서:", len(listing), "개")
print("목록에 없는 파일:", sorted(set(files) - set(listing["경로"])))
print("파일이 없는 목록:", sorted(set(listing["경로"]) - set(files)))
# 결과: 확장자마다 파일 수
print(pd.Series([Path(f).suffix for f in files]).value_counts().to_dict())

def decode(raw):
    """utf-8 로 읽어 보고, 안 되면 옛 한글 윈도 방식(cp949)으로 읽는다. 돌려주는 것: (글, 방식)"""
    for enc in ("utf-8-sig", "cp949"):
        try:
            return raw.decode(enc), enc
        except UnicodeDecodeError:
            pass
    raise ValueError("읽을 수 없는 인코딩")


class HtmlText(HTMLParser):
    """html 에서 본문 글만 뽑는다. script, style, title 과 메뉴(gnb), 꼬리말(footer), 게시 정보(info) 는 건너뛴다."""
    SKIP_TAGS, SKIP_CLASSES = {"script", "style", "title"}, {"gnb", "footer", "info"}
    VOID = {"meta", "br", "img", "link", "input", "hr"}          # 닫는 태그가 없는 태그

    def __init__(self):
        super().__init__()
        self.parts, self.stack = [], []        # stack: 열린 태그마다 "건너뛰는 중인가"

    def handle_starttag(self, tag, attrs):
        if tag in self.VOID:
            return
        skip = tag in self.SKIP_TAGS or dict(attrs).get("class") in self.SKIP_CLASSES or bool(self.stack and self.stack[-1])
        self.stack.append(skip)
        if not skip and tag in ("h1", "h2"):
            self.parts.append("\n# " if tag == "h1" else "\n## ")     # 제목은 마크다운 꼴로 남긴다

    def handle_endtag(self, tag):
        if tag in self.VOID:
            return
        if self.stack:
            self.stack.pop()
        if tag in ("p", "h1", "h2"):
            self.parts.append("\n")

    def handle_data(self, data):
        if not (self.stack and self.stack[-1]):
            self.parts.append(data)


W = "{http://schemas.openxmlformats.org/wordprocessingml/2006/main}"     # 워드 XML 태그 이름의 앞머리


def read_docx(raw):
    """docx(zip) 안의 word/document.xml 에서 문단과 표를 차례로 읽는다. 표는 행마다 '머리글 값' 문장으로 바꾼다."""
    root = ET.fromstring(zipfile.ZipFile(io.BytesIO(raw)).read("word/document.xml"))
    text_of = lambda node: "".join(t.text or "" for t in node.iter(W + "t"))
    lines = []
    for el in root.find(W + "body"):
        if el.tag == W + "p":                                      # 문단. 제목 꼴(Heading1, 2)이면 # 을 붙인다
            style = el.find(f"{W}pPr/{W}pStyle")
            name = style.get(W + "val") if style is not None else ""
            lines.append({"Heading1": "# ", "Heading2": "## "}.get(name, "") + text_of(el))
        elif el.tag == W + "tbl":                                  # 표
            rows = [[text_of(c) for c in r.iter(W + "tc")] for r in el.iter(W + "tr")]
            for r in rows[1:]:
                lines.append(", ".join([r[0]] + [f"{h} {v}" for h, v in zip(rows[0][1:], r[1:])]))
    return "\n".join(lines)


def read_file(path):
    """확장자에 맞게 읽는다. 돌려주는 것: (글, 읽은 방식)"""
    raw = path.read_bytes()
    if path.suffix == ".docx":
        return read_docx(raw), "docx"
    text, enc = decode(raw)
    if path.suffix == ".html":
        parser = HtmlText()
        parser.feed(text)
        text = "".join(parser.parts)
    elif path.suffix == ".csv":                                    # 표의 행마다 "열이름 값" 문장으로
        text = "\n".join(", ".join(f"{k} {v}" for k, v in r.items()) for r in csv.DictReader(text.splitlines()))
    return text, enc


# 결과: 워드 문서를 읽은 글. 표가 문장으로 바뀌었는지 본다
print(read_file(ROOT / "hr/복리후생_안내.docx")[0])

meta = listing.set_index("경로")
docs = []
for f in files:
    raw = (ROOT / f).read_bytes()
    text, how = read_file(ROOT / f)
    m = meta.loc[f]
    # 한 꼴의 기록: 경로와 라벨, 원본 파일의 해시, 뽑은 글
    docs.append({"경로": f, "제목": m["제목"], "부서": m["부서"], "등급": int(m["등급"]), "버전": int(m["버전"]),
                 "작성일": m["작성일"], "해시": hashlib.sha256(raw).hexdigest(), "글": text})
    print(f"{f} · {how} · {len(raw):,}바이트 → {len(text)}자")

with open("out_docs_raw.jsonl", "w", encoding="utf-8") as fp:
    for d in docs:
        fp.write(json.dumps(d, ensure_ascii=False) + "\n")

# html 하나를 원본과 뽑은 글로 견준다
card = next(d for d in docs if d["경로"] == "finance/법인카드_규정.html")
print("원본", len((ROOT / card["경로"]).read_text(encoding="utf-8")), "자 → 본문", len(card["글"]), "자")
print(card["글"].strip())