실습 3 — 비전 모델로 그림 설명 만들기

import base64, json, time, urllib.request
import pandas as pd

labels = pd.read_csv("product_labels.csv")
PROMPT = "이 그림 속 물건이 무엇이고 무슨 색인지 한국어 한 문장으로 설명하세요."


def describe(path):
    """그림을 base64 로 바꿔 Ollama 의 /api/chat 에 보내고 설명 글을 받는다"""
    b64 = base64.b64encode(open(path, "rb").read()).decode()
    body = {"model": "qwen2.5vl:3b", "stream": False, "options": {"temperature": 0, "seed": 42},
            "messages": [{"role": "user", "content": PROMPT, "images": [b64]}]}
    req = urllib.request.Request("http://localhost:11434/api/chat", data=json.dumps(body).encode(),
                                 headers={"Content-Type": "application/json"})
    return json.loads(urllib.request.urlopen(req).read())["message"]["content"].strip()


t = time.time()
print(labels.loc[0, "파일"], "→", describe(labels.loc[0, "파일"]), f"({time.time() - t:.0f}초, 모델을 올리는 시간 포함)")

t = time.time()
labels["설명"] = [describe(f) for f in labels["파일"]]
print(f"24장: {time.time() - t:.0f}초 · 한 장에 {(time.time() - t) / 24:.1f}초")
labels[["코드", "파일", "설명"]].to_csv("out_captions.csv", index=False, encoding="utf-8-sig")
for _, r in labels.head(6).iterrows():
    print(f"  {r['코드']} {r['이름']}: {r['설명']}")

# 정답 종류와 색을 가리키는 낱말들. 설명에 하나라도 있으면 맞힌 것으로 센다
KIND_WORDS = {"머그컵": ["컵", "머그"], "우산": ["우산"], "운동화": ["신발", "운동화", "스니커"], "배낭": ["가방", "배낭", "백팩"],
              "티셔츠": ["티셔츠", "셔츠"], "모자": ["모자", "캡"], "스탠드 조명": ["램프", "조명", "스탠드"],
              "화분": ["화분", "식물", "꽃"]}
COLOR_WORDS = {"빨강": ["빨간", "빨강", "붉은", "레드"], "파랑": ["파란", "파랑", "푸른", "블루"], "노랑": ["노란", "노랑", "옐로"]}
labels["종류 말함"] = [any(w in d for w in KIND_WORDS[k]) for d, k in zip(labels["설명"], labels["종류"])]
labels["색 말함"] = [any(w in d for w in COLOR_WORDS[c]) for d, c in zip(labels["설명"], labels["색"])]
print("종류를 말한 설명:", labels["종류 말함"].sum(), "/ 24 · 색을 말한 설명:", labels["색 말함"].sum(), "/ 24")
miss = labels[~(labels["종류 말함"] & labels["색 말함"])]
for _, r in miss.iterrows():
    print(f"  {r['색']} {r['종류']}: {r['설명']}")