실습 2 — 채팅 템플릿으로 SFT 데이터 만들기

import json
from transformers import AutoTokenizer

name = "Qwen/Qwen2.5-0.5B-Instruct"
tok = AutoTokenizer.from_pretrained(name)
SYSTEM = "당신은 온라인 쇼핑몰 고객센터 상담원입니다."

with open("sft_shop.jsonl", encoding="utf-8") as f:
    rows = [json.loads(line) for line in f]
train_rows = [r for r in rows if r["나눔"] == "train"]
test_rows = [r for r in rows if r["나눔"] == "test"]

def messages(q, a=None):
    """질문(과 답)을 메시지 목록으로. 답이 없으면 물어볼 때의 꼴."""
    m = [{"role": "system", "content": SYSTEM}, {"role": "user", "content": q}]
    if a is not None:
        m.append({"role": "assistant", "content": a})
    return m

# 학습용 한 줄이 실제로 어떤 글이 되는지 본다
print(tok.apply_chat_template(messages(train_rows[0]["질문"], train_rows[0]["답변"]), tokenize=False))

def encode(q, a):
    # 질문 부분: 생성 표시(assistant 차례)까지 붙인 글
    p_text = tok.apply_chat_template(messages(q), add_generation_prompt=True, tokenize=False)
    # 전체: 답까지 들어간 글
    f_text = tok.apply_chat_template(messages(q, a), tokenize=False)
    p_ids = tok(p_text, add_special_tokens=False)["input_ids"]
    f_ids = tok(f_text, add_special_tokens=False)["input_ids"]
    assert f_ids[:len(p_ids)] == p_ids          # 전체의 앞부분이 질문 부분과 같아야 한다
    return {"input_ids": f_ids, "labels": [-100] * len(p_ids) + f_ids[len(p_ids):]}

ex = encode(train_rows[0]["질문"], train_rows[0]["답변"])
scored = [t for t in ex["labels"] if t != -100]
print("토큰 수:", len(ex["input_ids"]), "/ 채점하는 자리:", len(scored))
print("채점하는 부분:", repr(tok.decode(scored)))

import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(name, dtype=torch.float32).eval()   # CPU 에서 확인만

def ask(m, q):
    enc = tok.apply_chat_template(messages(q), add_generation_prompt=True, return_tensors="pt", return_dict=True).to(m.device)
    with torch.no_grad():
        out = m.generate(**enc, max_new_tokens=60, do_sample=False)
    return tok.decode(out[0][enc["input_ids"].shape[1]:], skip_special_tokens=True).strip()

for r in test_rows[:3]:
    print("Q:", r["질문"])
    print("A:", ask(model, r["질문"]).replace("\n", " ")[:120])