실습 2 — 뜻으로 채점하기

import json
from pathlib import Path

import numpy as np
import pandas as pd
from sentence_transformers import SentenceTransformer

answers = pd.read_csv("out_lib_answers.csv")
evalset = {e["번호"]: e for e in map(json.loads, Path("library_eval.jsonl").read_text(encoding="utf-8").splitlines())}
emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")


def sim(a, b):
    """두 문장의 코사인 유사도. 둘 다 같은 접두어(query: )로 임베딩한다"""
    v = emb.encode(["query: " + a, "query: " + b], normalize_embeddings=True)
    return float(v[0] @ v[1])


print(len(answers), "개 답 · 예:", f"{sim('대출 기간은 14일입니다.', '14일 동안 빌릴 수 있어요.'):.3f}")

answers["유사도"] = [sim(a, evalset[n]["정답"]) for a, n in zip(answers["답"], answers["번호"])]
# 결과: 판과 종류마다 유사도의 평균과 가장 낮은 값
print(answers.groupby(["판", "종류"])["유사도"].agg(["mean", "min"]).round(3))

import re

# 실습 1과 같은 규칙(열쇠, 형식, 길이)을 다시 매긴다
def rule_ok(a, key):
    return any(k in a for k in key.split("|")) and re.search(r"[A-Za-z]{3,}", a) is None and 0 < len(a) <= 120


answers["규칙"] = [rule_ok(a, evalset[n]["열쇠"]) for a, n in zip(answers["답"], answers["번호"])]
THRESHOLD = 0.9                                # 문턱: 답이 있는 질문의 맞는 답들이 대부분 넘는 값으로 잡았다
answers["뜻"] = answers["유사도"] >= THRESHOLD
print(pd.crosstab(answers["규칙"], answers["뜻"], rownames=["규칙"], colnames=["뜻"]))
# 두 방법의 판정이 갈린 답
diff = answers[answers["규칙"] != answers["뜻"]]
print(diff[["번호", "판", "규칙", "뜻", "유사도", "답"]].round(3).to_string(index=False))
answers[["번호", "판", "유사도", "규칙", "뜻"]].to_csv("out_lib_scores.csv", index=False, encoding="utf-8-sig")

ref = "한 사람이 7권까지 빌릴 수 있습니다."
for cand in ["한 사람이 7권까지 빌릴 수 있습니다.", "한 사람이 5권까지 빌릴 수 있습니다.",
             "책은 일곱 권까지 대출됩니다.", "도서관은 매주 월요일에 쉽니다."]:
    # 결과: 숫자만 틀린 문장도 문턱을 넘는지 본다
    s = sim(ref, cand)
    print(f"{s:.3f} {'≥' if s >= THRESHOLD else '<'} {THRESHOLD}  {cand}")