실습 1 — 글로 그림 찾기

import time
import numpy as np
import pandas as pd
from PIL import Image

labels = pd.read_csv("product_labels.csv")             # 코드, 파일, 이름, 종류, 영어, 색
images = [Image.open(f).convert("RGB") for f in labels["파일"]]
print(len(images), "장 · 크기", images[0].size)
# 결과: 종류마다 어떤 색이 있는지
print(labels.groupby("종류")["색"].apply(list).to_dict())

from sentence_transformers import SentenceTransformer

# 그림과 영어 글을 같은 공간에 놓는 CLIP. GPU 는 뒤의 Ollama 에 비워 두려고 CPU 로 부른다
img_model = SentenceTransformer("clip-ViT-B-32", device="cpu")
# 한국어 등 50여 언어의 글을 위 CLIP 과 같은 공간으로 보내는 글 인코더
ko_model = SentenceTransformer("sentence-transformers/clip-ViT-B-32-multilingual-v1", device="cpu")

t = time.time()
I = img_model.encode(images, normalize_embeddings=True)    # 그림 24장 → (24, 512)
print("그림 임베딩:", I.shape, f"· {time.time() - t:.1f}초")

ADJ = {"빨강": "빨간", "파랑": "파란", "노랑": "노란"}
EN = {"빨강": "red", "파랑": "blue", "노랑": "yellow"}
# 그림마다 그 그림을 가리키는 질문 하나씩: 한국어 24개, 영어 24개
ko_q = [f"{ADJ[c]} {k}" for k, c in zip(labels["종류"], labels["색"])]
en_q = [f"a drawing of a {EN[c]} {e}" for e, c in zip(labels["영어"], labels["색"])]


def score(T):
    """질문 임베딩 T 마다 가장 가까운 그림을 골라, 딱 맞힌 몫과 종류, 색을 맞힌 몫을 잰다"""
    best = (T @ I.T).argmax(axis=1)
    kind, color = labels["종류"].values, labels["색"].values
    return {"딱 맞음": np.mean(best == np.arange(len(labels))), "종류 맞음": np.mean(kind[best] == kind),
            "색 맞음": np.mean(color[best] == color)}, best


ko_score, ko_best = score(ko_model.encode(ko_q, normalize_embeddings=True))
en_score, en_best = score(img_model.encode(en_q, normalize_embeddings=True))   # 영어 글은 CLIP 자신의 글 인코더로
print(pd.DataFrame([ko_score, en_score], index=["한국어(다국어 모델)", "영어(CLIP)"]).round(3))

wrong = [(q, f"{labels.loc[b, '색']} {labels.loc[b, '종류']}") for q, b, i in zip(ko_q, ko_best, range(len(labels))) if b != i]
print("틀린 수:", len(wrong))
for q, got in wrong[:8]:
    print(f"  {q} → {got}")