실습 6 — 모델 바꿔 끼우기

import json, time
from collections import Counter
import pandas as pd
from openai import OpenAI, APIError
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
text = open("shop_policy.txt", encoding="utf-8").read()
chunks = [c.strip() for c in text.split("\n\n")[1:]]
qa = [json.loads(line) for line in open("shop_policy_qa.jsonl", encoding="utf-8")]
vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 3))
X = vec.fit_transform(chunks)
def search(question, k=3):
    scores = cosine_similarity(vec.transform([question]), X)[0]
    return [(int(i), float(scores[i])) for i in scores.argsort()[::-1][:k]]
SYSTEM = ("당신은 쇼핑몰 상담원입니다. 아래 [문서]에 적힌 내용만 근거로 짧게 답하세요. "
          "문서에 답이 없으면 '문서에서 찾지 못했습니다.'라고만 답하세요.")
def build_messages(question, k=3):
    found = [chunks[i] for i, _ in search(question, k)]
    return [{"role": "system", "content": SYSTEM},
            {"role": "user", "content": "[문서]\n" + "\n".join(found) + "\n\n[질문]\n" + question}]
REFUSE = ["찾지 못", "찾을 수 없", "나와 있지 않", "제공되지 않"]
def grade(key, answer):
    refused = any(w in answer for w in REFUSE)
    if key == "":
        return "모름 맞음" if refused else "지어냄"
    if any(k in answer for k in key.split("|")):
        return "정답"
    return "거절" if refused else "오답"
def safe_ask(messages, model):
    try:
        resp = client.chat.completions.create(model=model, messages=messages, temperature=0, seed=42, max_tokens=120)
        return resp.choices[0].message.content.strip()
    except APIError as e:
        return f"[오류] {e.message[:40]}"

# 질문마다 프롬프트는 한 번만 만들어 세 모델에 똑같이 넣는다
prompts = [build_messages(r["질문"]) for r in qa]
print("준비한 프롬프트:", len(prompts))

MODELS = ["qwen2.5:0.5b", "qwen2.5:1.5b", "qwen2.5:3b"]
answers, rows = {}, []
for m in MODELS:
    safe_ask([{"role": "user", "content": "안녕하세요"}], m)        # 모델을 먼저 올려 두고 시간을 잰다
    start = time.time()
    answers[m] = [safe_ask(p, m) for p in prompts]
    sec = time.time() - start
    res = [grade(r["정답열쇠"], a) for r, a in zip(qa, answers[m])]
    inside = Counter(x for x, r in zip(res, qa) if r["근거조항"])
    outside = Counter(x for x, r in zip(res, qa) if not r["근거조항"])
    rows.append({"모델": m, "정답(/24)": inside["정답"], "지나친 거절": inside["거절"], "오답": inside["오답"],
                 "모름 맞음(/6)": outside["모름 맞음"], "30문항 초": round(sec, 1)})
print(pd.DataFrame(rows).to_string(index=False))

for q in ["골드 등급이 되려면 얼마나 사야 해요?", "새벽 배송도 해 주나요?"]:
    i = next(k for k, r in enumerate(qa) if r["질문"] == q)
    print("질문:", q)
    for m in MODELS:
        print(f"  {m:13s}", answers[m][i].replace("\n", " ")[:80])

q = "토요일에도 상품을 보내 주나요?"
print("검색한 조항:", [chunks[i][:chunks[i].index(")") + 1] for i, _ in search(q)])
print("3b 의 답   :", safe_ask(build_messages(q), "qwen2.5:3b"))

# 정답 조항(제1조)을 손으로 넣어 주면 어떻게 답하는지 본다
fixed = [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": "[문서]\n" + chunks[0] + "\n\n[질문]\n" + q}]
print("제1조를 넣으면:", safe_ask(fixed, "qwen2.5:3b"))