실습 3 — 키워드 검색 만들기

import json
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 실습 2와 같은 준비: 빈 줄로 조항을 나눈다
text = open("shop_policy.txt", encoding="utf-8").read()
chunks = [c.strip() for c in text.split("\n\n")[1:]]
qa = [json.loads(line) for line in open("shop_policy_qa.jsonl", encoding="utf-8")]

# 띄어쓰기 안에서 2~3 글자 조각을 만들어 TF-IDF 무게를 매긴다
vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 3))
X = vec.fit_transform(chunks)
print("표의 모양(조항 수, 글자 조각 수):", X.shape)
print("질문이 나뉘는 조각:", vec.build_analyzer()("휴대폰 한도")[:8])

def title(c):
    """조각 맨 앞의 '제14조(결제 수단)' 부분만 돌려준다"""
    return c[:c.index(")") + 1]

def search(question, k=3):
    """질문과 코사인 유사도가 높은 조항 k 개의 (번호, 점수)를 돌려준다. 번호는 0 부터"""
    scores = cosine_similarity(vec.transform([question]), X)[0]
    top = scores.argsort()[::-1][:k]          # 점수가 높은 순서
    return [(int(i), round(float(scores[i]), 3)) for i in top]

for i, s in search("휴대폰으로 결제하면 한도가 있나요?"):
    print(s, title(chunks[i]))

hit1 = hit3 = 0
misses = []
for r in qa:
    if r["근거조항"] == 0:                     # 문서에 없는 질문은 여기서 빼고 센다
        continue
    found = [i + 1 for i, _ in search(r["질문"])]   # 조항 번호는 1 부터라 1 을 더한다
    hit1 += found[0] == r["근거조항"]            # 첫째 자리에 정답 조항이 있나
    hit3 += r["근거조항"] in found               # 위 3개 안에 있나
    if r["근거조항"] not in found:
        misses.append((r["질문"], [title(chunks[i - 1]) for i in found]))
print(f"hit@1 {hit1}/24 = {hit1 / 24:.3f} · hit@3 {hit3}/24 = {hit3 / 24:.3f}")
for q, got in misses:
    print("놓친 질문:", q, "→", got)

# 낱말(띄어쓰기) 단위로 나누면 조사 때문에 잘 겹치지 않는다
wvec = TfidfVectorizer(analyzer="word")
WX = wvec.fit_transform(chunks)
w1 = w3 = 0
for r in qa:
    if r["근거조항"]:
        top = (cosine_similarity(wvec.transform([r["질문"]]), WX)[0].argsort()[::-1][:3] + 1).tolist()
        w1 += top[0] == r["근거조항"]
        w3 += r["근거조항"] in top
print(f"낱말 단위: hit@1 {w1}/24 · hit@3 {w3}/24")

# 첫째 자리 점수: 문서에 있는 질문과 없는 질문을 견준다
inside = [search(r["질문"])[0][1] for r in qa if r["근거조항"]]
outside = [search(r["질문"])[0][1] for r in qa if not r["근거조항"]]
print("있는 질문의 첫째 점수: 가장 낮은", min(inside), "· 없는 질문의 첫째 점수: 가장 높은", max(outside))