실습 4 — 프롬프트 다듬기

import json, urllib.request
# 이 PC 의 Ollama 는 오래 쓰다 보면 가끔 깨진 글자(@@@@)만 내는 일이 있었다. 실습을 시작할 때 모델을 내려 깨끗하게 다시 올린다
urllib.request.urlopen(urllib.request.Request("http://localhost:11434/api/generate", headers={"Content-Type": "application/json"},
                                              data=json.dumps({"model": "qwen2.5:3b", "keep_alive": 0}).encode())).read()
import time
import pandas as pd
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
MODEL = "qwen2.5:3b"
inq = pd.read_csv("inquiries.csv")
shots, test = inq.iloc[:20], inq.iloc[20:]       # 예시용 20개와 시험용 20개를 나눈다(겹치지 않게)
LABELS = ["배송", "교환반품", "결제", "회원", "기타"]
print("시험용 분류:", test["분류"].value_counts().to_dict())

def to_label(text):
    """답에서 분류 이름을 찾는다. 없으면 '?'"""
    t = (text or "").replace(" ", "").replace("/", "").replace("·", "")
    return next((l for l in LABELS if l in t), "?")

def score(make_messages, name):
    start = time.time()
    preds = [to_label(client.chat.completions.create(model=MODEL, messages=make_messages(q), temperature=0,
                                                     seed=42, max_tokens=40).choices[0].message.content)
             for q in test["문의"]]
    right = sum(p == y for p, y in zip(preds, test["분류"]))
    wrong = [(q[:14], p, y) for q, p, y in zip(test["문의"], preds, test["분류"]) if p != y]
    print(f"{name}: {right}/20 · {time.time() - start:.0f}초 · 틀린 예 {wrong[:3]}")
    return right

results = {}
results["1 짧은 지시"] = score(lambda q: [{"role": "user", "content": f"이 고객 문의를 분류하세요: {q}"}], "1 짧은 지시")
RULE = "고객 문의를 배송, 교환반품, 결제, 회원, 기타 가운데 하나로 분류하세요. 분류 이름 하나만 쓰세요."
results["2 분류 목록"] = score(lambda q: [{"role": "system", "content": RULE}, {"role": "user", "content": q}], "2 분류 목록")

DESC = RULE + """
- 배송: 도착, 송장, 배송지, 해외 배송, 배송 기사
- 교환반품: 불량, 파손, 다른 상품, 교환과 반품 신청
- 결제: 카드, 할부, 쿠폰 할인, 환불 금액, 영수증, 세금계산서
- 회원: 비밀번호, 아이디, 등급, 적립금, 생일 쿠폰, 탈퇴, 수신 설정
- 기타: 위에 없는 것(매장, 입고, 포장, 리뷰)"""
results["3 분류 설명"] = score(lambda q: [{"role": "system", "content": DESC}, {"role": "user", "content": q}], "3 분류 설명")

def few_shot(q):
    msgs = [{"role": "system", "content": DESC}]
    for _, r in shots.iterrows():                 # 예시 20개를 user/assistant 쌍으로 넣는다
        msgs += [{"role": "user", "content": r["문의"]}, {"role": "assistant", "content": r["분류"]}]
    return msgs + [{"role": "user", "content": q}]
results["4 설명+예시 20개"] = score(few_shot, "4 설명+예시 20개")
print(results)