실습 5 — 안내서로 질문-답 데이터 만들기

import json, re, time, urllib.request
from openai import OpenAI

# 앞 실습의 비전 모델과 글 모델을 내린다. GPU 를 비우고, 오래 쓴 모델이 깨진 답을 내는 일을 막으려고(10차시)
for m in ("qwen2.5vl:3b", "qwen2.5:3b"):
    urllib.request.urlopen(urllib.request.Request("http://localhost:11434/api/generate", headers={"Content-Type": "application/json"},
                                                  data=json.dumps({"model": m, "keep_alive": 0}).encode())).read()
text = open("care_guide.md", encoding="utf-8").read()
sections = [(m.group(1), m.group(2).strip()) for m in re.finditer(r"## (.+)\n\n(.+)", text)]
print(len(sections), "절:", [t for t, _ in sections])

llm = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
SYSTEM = ("당신은 쇼핑몰 상담원 교육 자료를 만드는 사람입니다. 주어진 글에 있는 사실로만 고객 질문과 상담원 답을 만듭니다. "
          'JSON 으로만 답합니다. 꼴: {"쌍": [{"질문": "...", "답": "..."}]}')
# 다른 주제의 예시 한 묶음(퓨샷). 꼴과 말투를 보여 준다
EX_IN = "주차: 매장 주차장은 2시간까지 무료입니다. 그 뒤로는 30분에 1,000원입니다."
EX_OUT = json.dumps({"쌍": [{"질문": "주차는 몇 시간까지 무료예요?", "답": "매장 주차장은 2시간까지 무료입니다."},
                           {"질문": "2시간이 넘으면 주차비가 얼마예요?", "답": "2시간이 지나면 30분에 1,000원입니다."}]}, ensure_ascii=False)


PAIR = re.compile(r'"질문"\s*:\s*"([^"]+)"\s*,\s*"답"\s*:\s*"([^"]+)"')     # 깨진 JSON 에서 쌍만 골라 읽는 꼴
stats = {"그대로 읽음": 0, "고쳐 읽음": 0, "다시 물음": 0, "실패": 0}


def parse(content):
    """JSON 으로 읽어 보고, 깨졌으면 정규식으로 질문-답 쌍만 골라 읽는다. 돌려주는 것: (쌍 목록, 읽은 방법)"""
    try:
        pairs = json.loads(content)["쌍"]
        if isinstance(pairs, list) and pairs:
            return [p for p in pairs if isinstance(p, dict)], "그대로 읽음"
    except (json.JSONDecodeError, KeyError, TypeError):
        pass
    found = [{"질문": q, "답": a} for q, a in PAIR.findall(content)]
    return found, "고쳐 읽음" if found else "실패"


def generate(title, body, seed):
    """절 하나로 질문-답을 4쌍 만들게 한다. 쌍을 하나도 못 읽으면 씨앗을 바꿔 한 번 더 묻는다"""
    messages = [{"role": "system", "content": SYSTEM},
                {"role": "user", "content": "글: " + EX_IN + "\n질문과 답을 2쌍 만드세요."},
                {"role": "assistant", "content": EX_OUT},
                {"role": "user", "content": f"글: {title}: {body}\n질문과 답을 4쌍 만드세요. 쌍마다 다른 사실을 묻습니다."}]
    for attempt in range(2):
        reply = llm.chat.completions.create(model="qwen2.5:3b", temperature=0.3, seed=seed + attempt * 100,
                                            response_format={"type": "json_object"}, messages=messages)
        pairs, how = parse(reply.choices[0].message.content)
        if pairs:
            stats[how] += 1
            return pairs
        stats["다시 물음"] += attempt == 0
    stats["실패"] += 1
    return []


print(json.dumps(generate(*sections[0], seed=42), ensure_ascii=False, indent=1))

stats = {k: 0 for k in stats}                          # 2단계의 시험 호출은 세지 않는다
raw = []
t = time.time()
for seed in (42, 7):                                    # 씨앗을 바꿔 두 번 만든다
    for title, body in sections:
        for p in generate(title, body, seed):
            raw.append({"출처": title, "질문": str(p.get("질문", "")).strip(), "답": str(p.get("답", "")).strip(), "씨앗": seed})
print(f"만든 쌍: {len(raw)} · {time.time() - t:.0f}초")
print("절 24번의 읽기:", stats)
with open("out_generated_raw.jsonl", "w", encoding="utf-8") as fp:
    fp.writelines(json.dumps(r, ensure_ascii=False) + "\n" for r in raw)

import pandas as pd

df = pd.DataFrame(raw)
print(df.groupby("출처").size().rename("쌍 수").to_dict())
for _, r in df.sample(8, random_state=0).iterrows():     # 무작위로 8쌍을 읽어 본다
    print(f"  [{r['출처']}] {r['질문']} → {r['답']}")