실습 1 — 모델이 모르는 질문 해 보기

import json
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

name = "Qwen/Qwen2.5-0.5B-Instruct"
# GPU 가 있으면 fp16 으로 GPU 에, 없으면 float32 로 CPU 에 올린다
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.float16 if device == "cuda" else torch.float32
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype=dtype).to(device)

def chat(messages, max_new_tokens=100):
    """메시지 목록을 받아 모델의 답(글)을 돌려준다. do_sample=False 라 다시 돌려도 같은 답이다."""
    enc = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(device)
    with torch.no_grad():
        out = model.generate(**enc, max_new_tokens=max_new_tokens, do_sample=False)
    # 프롬프트 뒤에 새로 만든 토큰만 글로 바꾼다
    return tok.decode(out[0][enc["input_ids"].shape[1]:], skip_special_tokens=True).strip()

print("장치:", device)

# 질문 30개를 읽는다. 근거조항이 0 이면 문서에 없는 질문이다
qa = [json.loads(line) for line in open("shop_policy_qa.jsonl", encoding="utf-8")]
print("질문 수:", len(qa), "· 문서에 없는 질문:", sum(r["근거조항"] == 0 for r in qa))

NO_DOC = [{"role": "system", "content": "당신은 쇼핑몰 상담원입니다. 짧게 답하세요."}]
# 문서에 있는 질문 둘, 없는 질문 하나를 골라 본다
for q in ["휴대폰으로 결제하면 한도가 있나요?", "골드 등급이 되려면 얼마나 사야 해요?", "새벽 배송도 해 주나요?"]:
    answer = chat(NO_DOC + [{"role": "user", "content": q}])
    print("질문:", q)
    print("답  :", answer.replace("\n", " ")[:110])

from collections import Counter

REFUSE = ["찾지 못", "찾을 수 없", "나와 있지 않", "제공되지 않"]

def grade(key, answer):
    """본문 "LLM 이 모르는 것"의 채점 함수. 결과: 정답, 오답, 거절, 지어냄, 모름 맞음"""
    refused = any(w in answer for w in REFUSE)
    if key == "":
        return "모름 맞음" if refused else "지어냄"
    if any(k in answer for k in key.split("|")):
        return "정답"
    return "거절" if refused else "오답"

results = [grade(r["정답열쇠"], chat(NO_DOC + [{"role": "user", "content": r["질문"]}])) for r in qa]
# 문서에 있는 질문(24개)과 없는 질문(6개)을 따로 센다
print("문서에 있는 질문:", Counter(x for x, r in zip(results, qa) if r["근거조항"]))
print("문서에 없는 질문:", Counter(x for x, r in zip(results, qa) if not r["근거조항"]))