실습 4 — 그림과 표가 섞인 안내서로 답하기

import json, re, urllib.request
import numpy as np
import pandas as pd

guide = open("product_guide.md", encoding="utf-8").read()
captions = pd.read_csv("out_captions.csv").set_index("코드")["설명"]       # 실습 3의 그림 설명

chunks = []
for section in guide.split("\n## ")[1:]:                 # 절 = 상품 종류 하나
    kind, body = section.split("\n", 1)
    note = body.strip().split("\n")[0]                    # 절의 첫 문단(관리 안내)
    header = [c.strip() for c in re.search(r"^\| 이름 .*$", body, re.M).group(0).strip("|").split("|")]
    for row in re.findall(r"^\| (?!이름|---).*$", body, re.M):
        rec = dict(zip(header, [c.strip() for c in row.strip("|").split("|")]))
        table_text = f"[{kind}] {rec['이름']}({rec['코드']}): " + ", ".join(f"{h} {rec[h]}" for h in header[2:]) + f". {note}"
        chunks.append({"코드": rec["코드"], "표만": table_text, "그림 설명 붙임": table_text + f" 그림: {captions[rec['코드']]}"})
print(len(chunks), "조각")
print(chunks[0]["그림 설명 붙임"])

from PIL import Image
from sentence_transformers import SentenceTransformer

qa = [json.loads(line) for line in open("product_guide_qa.jsonl", encoding="utf-8")]
codes = [c["코드"] for c in chunks]
emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")      # 7차시의 글 임베딩
Q = emb.encode(["query: " + x["질문"] for x in qa], normalize_embeddings=True)

hits = {}
for kind in ["표만", "그림 설명 붙임"]:
    E = emb.encode(["passage: " + c[kind] for c in chunks], normalize_embeddings=True)
    found = [codes[i] for i in (Q @ E.T).argmax(axis=1)]
    hits[kind] = [f == x["코드"] for f, x in zip(found, qa)]

# CLIP: 한국어 질문을 그림 임베딩과 견줘 가장 가까운 그림의 상품을 고른다(실습 1의 방법)
labels = pd.read_csv("product_labels.csv")
img_model = SentenceTransformer("clip-ViT-B-32", device="cpu")
ko_model = SentenceTransformer("sentence-transformers/clip-ViT-B-32-multilingual-v1", device="cpu")
I = img_model.encode([Image.open(f).convert("RGB") for f in labels["파일"]], normalize_embeddings=True)
T = ko_model.encode([x["질문"] for x in qa], normalize_embeddings=True)
hits["CLIP 그림 검색"] = [labels.loc[i, "코드"] == x["코드"] for i, x in zip((T @ I.T).argmax(axis=1), qa)]
print({k: f"{sum(v)}/{len(v)}" for k, v in hits.items()})

from openai import OpenAI

# 실습 3의 비전 모델을 내려 GPU 를 비운다. 이어서 쓸 글 모델(qwen2.5:3b)이 GPU 에 올라가게
urllib.request.urlopen(urllib.request.Request("http://localhost:11434/api/generate", headers={"Content-Type": "application/json"},
                                              data=json.dumps({"model": "qwen2.5vl:3b", "keep_alive": 0}).encode())).read()
llm = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
SYSTEM = "당신은 솔빛생활(가상 쇼핑몰)의 상담원입니다. [자료]에 있는 내용만으로 한 문장으로 답하고, 끝에 상품 코드를 (P00) 꼴로 적으세요."
E = emb.encode(["passage: " + c["그림 설명 붙임"] for c in chunks], normalize_embeddings=True)

right = 0
for x, q in zip(qa, Q):
    top = np.argsort(-(E @ q))[:3]                        # 그림 설명을 붙인 조각 3개
    context = "\n".join(chunks[i]["그림 설명 붙임"] for i in top)
    reply = llm.chat.completions.create(model="qwen2.5:3b", temperature=0, seed=42, messages=[
        {"role": "system", "content": SYSTEM}, {"role": "user", "content": f"[자료]\n{context}\n\n[질문]\n{x['질문']}"}])
    a = reply.choices[0].message.content.strip()
    ok = x["열쇠"].replace(",", "") in a.replace(",", "")
    right += ok
    print("O" if ok else "X", x["질문"], "→", a)
print(f"맞힌 수: {right} / {len(qa)}")