실습 5 — 조각 크기 견주기

import json
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

plt.rcParams["font.family"] = "Malgun Gothic"     # 그래프의 한글 글꼴
text = open("it_helpdesk.md", encoding="utf-8").read()
qa = [json.loads(line) for line in open("it_helpdesk_qa.jsonl", encoding="utf-8")]
sections = ["## " + s.strip() for s in text.split("\n## ")[1:]]
body = "\n\n".join(sections)                       # 제목 단위 조각을 다시 이어 붙인 본문

def by_size(size, step):
    """size 글자씩, step 글자마다 새로 시작한다. step < size 면 겹친다"""
    return [body[i:i + size] for i in range(0, len(body), step)]

ways = {"제목 단위": sections, "100글자": by_size(100, 100),
        "100글자+겹침30": by_size(100, 70), "300글자": by_size(300, 300)}
for name, cs in ways.items():
    print(f"{name:12s} 조각 {len(cs):3d}개 · 평균 {np.mean([len(c) for c in cs]):.0f}글자")

emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")
Q = emb.encode(["query: " + r["질문"] for r in qa], normalize_embeddings=True)

def hits(scores, chunks):
    """scores: (질문 수, 조각 수). 정답 조각(근거 글이 든 조각)의 hit@1, hit@3"""
    h1 = h3 = 0
    for n, r in enumerate(qa):
        order = np.argsort(-scores[n]).tolist()
        gold = [i for i, c in enumerate(chunks) if r["근거"] in c]
        best = min((order.index(g) for g in gold), default=999) + 1   # 근거가 잘려 정답 조각이 없으면 999
        h1 += best == 1
        h3 += best <= 3
    return h1, h3

rows = []
for name, cs in ways.items():
    E = emb.encode(["passage: " + c for c in cs], normalize_embeddings=True)
    vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 3))
    X = vec.fit_transform(cs)
    k1, k3 = hits(cosine_similarity(vec.transform([r["질문"] for r in qa]), X), cs)
    s1, s3 = hits(Q @ E.T, cs)
    rows.append({"나누는 법": name, "조각 수": len(cs), "키워드 hit@1": k1, "키워드 hit@3": k3,
                 "의미 hit@1": s1, "의미 hit@3": s3})
result = pd.DataFrame(rows)
print(result.to_string(index=False))

ax = result.set_index("나누는 법")[["키워드 hit@1", "의미 hit@1"]].plot.bar(figsize=(8, 4), rot=0)
ax.set_ylabel("1등으로 맞힌 질문 수 (36개 중)")
ax.set_title("나누는 법에 따른 hit@1")
plt.tight_layout()
plt.show()