실습 3 — LLM 채점자 만들고 사람과 맞춰 보기

import json
import sys
from pathlib import Path

import pandas as pd

sys.path.insert(0, ".")
import out_libbot as bot                       # 실습 1의 chat() 을 쓴다

cases = pd.DataFrame([json.loads(line) for line in Path("judge_cases.jsonl").read_text(encoding="utf-8").splitlines()])
cases["사람판정"] = cases["사람"].map({1: "맞음", 0: "틀림"})
# 결과: 유형마다의 사례 수
print(cases["유형"].value_counts().to_dict())


def run_judge(system, schema, with_ref=True):
    """사례마다 채점자의 판정을 받아 돌려준다"""
    out = []
    for c in cases.itertuples():
        user = f"질문: {c.질문}\n" + (f"참조 답: {c.정답}\n" if with_ref else "") + f"챗봇의 답: {c.답}"
        out.append(bot.chat_json(system, user, schema))      # 깨진 JSON 이면 다시 묻는다(실습 1)
    return pd.DataFrame(out)

SIMPLE = {"type": "object", "properties": {"까닭": {"type": "string"}, "판정": {"type": "string", "enum": ["맞음", "틀림"]}},
          "required": ["까닭", "판정"]}
J0 = "도서관 챗봇의 답을 채점합니다. 질문과 챗봇의 답을 보고, 질문에 알맞고 도움이 되는 답이면 맞음, 아니면 틀림입니다.\nJSON 으로 답하세요."
r0 = run_judge(J0, SIMPLE, with_ref=False)
cases["참조없음"] = r0["판정"]
# 결과: 사람과의 일치율, 그리고 지어낸 답·길고 틀린 답을 어떻게 판정했나
print(f"일치율 {(cases['참조없음'] == cases['사람판정']).mean():.3f}")
print(cases[cases["유형"].isin(["지어낸 답", "길고 틀린 답"])][["번호", "유형", "사람판정", "참조없음"]].to_string(index=False))

J1 = ("도서관 챗봇의 답을 채점합니다. 질문, 참조 답, 챗봇의 답을 봅니다.\n"
      "- 챗봇의 답이 참조 답과 사실(숫자, 날짜, 시각)이 맞으면 맞음입니다. 참조 답에 없는 내용을 조금 덧붙인 것은 괜찮습니다.\n"
      "- 숫자나 날짜가 다르거나, 사실과 다른 내용을 지어냈으면 틀림입니다.\n"
      "- 참조 답이 '자료에 없다'이면, 모른다고 하고 안내 데스크를 알려 주어야 맞음입니다. 무언가를 단정해 답하면 틀림입니다.\n"
      "- 답의 길이나 말투로 판단하지 않습니다.\nJSON 으로 답하세요.")
r1 = run_judge(J1, SIMPLE)
cases["참조"] = r1["판정"]
print(f"일치율 {(cases['참조'] == cases['사람판정']).mean():.3f}")
# 결과: 사람과 갈린 사례
print(cases[cases["참조"] != cases["사람판정"]][["번호", "유형", "사람판정", "참조"]].to_string(index=False))

FACTS = {"type": "object",
         "properties": {"참조의_핵심": {"type": "string"}, "답의_핵심": {"type": "string"},
                        "판정": {"type": "string", "enum": ["맞음", "틀림"]}},
         "required": ["참조의_핵심", "답의_핵심", "판정"]}
J2 = ("도서관 챗봇의 답을 채점합니다.\n"
      "1. 참조 답에서 질문에 답하는 핵심 사실(숫자, 요일, 날짜, 또는 '자료에 없음')을 짧게 적습니다.\n"
      "2. 챗봇의 답에서 같은 질문에 답하는 핵심 사실을 짧게 적습니다.\n"
      "3. 두 핵심 사실이 같으면 맞음, 다르면 틀림입니다. 챗봇이 참조에 없는 내용을 덧붙인 것은 따지지 않습니다.\n"
      "   참조가 '자료에 없음'인데 챗봇이 모른다고 하지 않고 무언가를 답했으면 틀림입니다.\n"
      "길이와 말투는 보지 않습니다. JSON 으로 답하세요.")
r2 = run_judge(J2, FACTS)
cases["핵심비교"] = r2["판정"]
board = {name: (cases[name] == cases["사람판정"]).mean() for name in ["참조없음", "참조", "핵심비교"]}
print({k: round(v, 3) for k, v in board.items()})
# 결과: 핵심 비교 채점자가 사람과 갈린 사례와 그때 적은 핵심 사실
bad = cases["핵심비교"] != cases["사람판정"]
print(pd.concat([cases[bad][["번호", "유형", "사람판정", "핵심비교"]], r2[bad][["참조의_핵심", "답의_핵심"]]], axis=1).to_string(index=False))
print("다시 물음", bot.retried["수"])