실습 5 — 컨텍스트 고르기

import json, urllib.request
# 이 PC 의 Ollama 는 오래 쓰다 보면 가끔 깨진 글자(@@@@)만 내는 일이 있었다. 실습을 시작할 때 모델을 내려 깨끗하게 다시 올린다
urllib.request.urlopen(urllib.request.Request("http://localhost:11434/api/generate", headers={"Content-Type": "application/json"},
                                              data=json.dumps({"model": "qwen2.5:3b", "keep_alive": 0}).encode())).read()
import re, time
import numpy as np
from sentence_transformers import SentenceTransformer

help_text = open("it_helpdesk.md", encoding="utf-8").read()
chunks = ["## " + s.strip() for s in help_text.split("\n## ")[1:]]                      # IT 지원 안내 30
chunks += [l for l in open("company_rules.txt", encoding="utf-8").read().split("\n") if re.match(r"^제\d+조\(", l)]   # 규정 30
QUESTIONS = [("메일에 첨부할 수 있는 최대 크기는?", "25MB"), ("계정 문제 티켓은 몇 시간 안에 처리해요?", "4시간"),
             ("손님용 와이파이 이름은?", "SN-Guest"), ("노트북은 몇 년 지나면 바꿀 수 있어요?", "4년"),
             ("해외 출장 일비는 하루 얼마예요?", "60달러"), ("자기계발비는 한 해 얼마까지 지원돼요?", "120만원"),
             ("사원증을 다시 만드는 비용은?", "1만원"), ("필수 교육 기한은 언제예요?", "11월 30일")]
print("조각:", len(chunks), "개 ·", sum(len(c) for c in chunks), "글자")

SYSTEM = "당신은 솔내기술(가상 회사)의 사내 도우미입니다. [자료]만 보고 한 문장으로 답하세요."

def answer(question, context, num_ctx=4096):
    """Ollama 고유 API 로 묻는다. num_ctx: 컨텍스트 창의 크기(토큰). 돌려주는 것: 답, 실제 프롬프트 토큰 수"""
    body = {"model": "qwen2.5:3b", "stream": False,
            "options": {"num_ctx": num_ctx, "temperature": 0, "seed": 42, "num_predict": 80},
            "messages": [{"role": "system", "content": SYSTEM},
                         {"role": "user", "content": "[자료]\n" + "\n".join(context) + "\n\n[질문]\n" + question}]}
    req = urllib.request.Request("http://localhost:11434/api/chat", data=json.dumps(body).encode(),
                                 headers={"Content-Type": "application/json"})
    r = json.loads(urllib.request.urlopen(req).read())
    return r["message"]["content"], r.get("prompt_eval_count")     # prompt_eval_count: 모델이 읽은 프롬프트 토큰 수

a, n = answer("메일에 첨부할 수 있는 최대 크기는?", chunks[:10])
print(n, "토큰 →", a)

emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")
E = emb.encode(["passage: " + c for c in chunks], normalize_embeddings=True)

def top3(question):
    q = emb.encode("query: " + question, normalize_embeddings=True)
    return [chunks[i] for i in np.argsort(-(E @ q))[:3]]

samples = {}
for name, pick, ctx in [("모두 붙이기 · 창 4,096", lambda q: chunks, 4096),
                        ("모두 붙이기 · 창 8,192", lambda q: chunks, 8192),
                        ("검색 3조각 · 창 4,096", top3, 4096)]:
    start, right, tokens = time.time(), 0, []
    for q, key in QUESTIONS:
        a, n = answer(q, pick(q), ctx)
        right += key.replace(" ", "") in a.replace(" ", "").replace(",", "")
        tokens.append(n)
    samples[name] = a                                   # 마지막 질문의 답을 남겨 둔다
    print(f"{name}: 정답 {right}/8 · 프롬프트 토큰 평균 {np.mean(tokens):.0f} · {time.time() - start:.0f}초")

for name, a in samples.items():
    print(f"{name}: {a[:60]!r}")