실습 1 — 요청 하나를 쪼개 재기

import json, re, time, urllib.request, urllib.error

HOST = "http://127.0.0.1:11434"          # localhost 대신 127.0.0.1 (13차시: Windows 에서 더 빠르다)
MODEL = "qwen2.5:3b"


def post(path, body):
    """Ollama 에 JSON 을 보내고 JSON 답을 받는다(스트리밍이 아닌 요청)"""
    req = urllib.request.Request(HOST + path, data=json.dumps(body).encode(), headers={"Content-Type": "application/json"})
    return json.loads(urllib.request.urlopen(req, timeout=300).read())


def unload_all():
    """올라가 있는 모델을 모두 내린다(keep_alive 0). 재기 전에 GPU 를 비운다"""
    for m in json.loads(urllib.request.urlopen(HOST + "/api/ps").read())["models"]:
        post("/api/generate", {"model": m["name"], "keep_alive": 0})


BROKEN = re.compile(r"(.)\1{9,}")        # 같은 글자가 10번 넘게 이어지면 깨진 답(15차시)


def stream_chat(messages, num_predict=80, model=MODEL):
    """스트리밍으로 보내 조각이 올 때마다 시각을 잰다.
    돌려주는 것: 답, TTFT, 전체 지연, 출력 토큰 수, TPOT, 입력 토큰 수, 캐시에서 읽은 입력 토큰 수, 모델 올린 시간"""
    body = {"model": model, "messages": messages, "stream": True,
            "options": {"temperature": 0, "seed": 42, "num_predict": num_predict}}
    for _ in range(3):                                   # 서버 오류나 깨진 답이면 모델을 내렸다 두 번까지 다시 보낸다
        req = urllib.request.Request(HOST + "/api/chat", data=json.dumps(body).encode(),
                                     headers={"Content-Type": "application/json"})
        start, first, text, last = time.perf_counter(), None, "", {}
        try:
            with urllib.request.urlopen(req, timeout=300) as r:
                for line in r:                           # 스트리밍 답은 한 줄에 JSON 하나씩 온다
                    d = json.loads(line)
                    piece = d.get("message", {}).get("content", "")
                    if piece and first is None:
                        first = time.perf_counter() - start   # 첫 조각이 온 시각 = TTFT
                    text += piece
                    if d.get("done"):
                        last = d                             # 마지막 줄에 Ollama 가 잰 숫자들이 온다
        except urllib.error.HTTPError:
            last = {}
        if last and not BROKEN.search(text):
            break
        post("/api/generate", {"model": model, "keep_alive": 0})
    total = time.perf_counter() - start
    n = last["eval_count"]
    return {"답": text.strip(), "TTFT": first, "지연": total, "출력토큰": n,
            "TPOT": (total - first) / max(n - 1, 1), "입력토큰": last["prompt_eval_count"],
            "캐시토큰": last.get("prompt_eval_cached_count", 0), "올리기": last.get("load_duration", 0) / 1e9}


articles = [l.strip() for l in open("company_rules.txt", encoding="utf-8") if re.match(r"^제\d+조\(", l)]
SYSTEM = "당신은 솔내기술(가상 회사)의 규정 도우미입니다. [조항]에 있는 내용만으로 답하세요."
print(len(articles), "조항")

# 모델을 모두 내려, 첫 요청에 모델을 올리는 시간이 들어가게 한다
unload_all()
msgs = [{"role": "system", "content": SYSTEM},
        {"role": "user", "content": f"[조항]\n{articles[2]}\n\n[질문]\n재택 근무는 일주일에 며칠까지 되나요? 한 문장으로 답하세요."}]
for i in range(3):
    r = stream_chat(msgs)
    # 결과: 회차마다 모델 올린 시간, TTFT, TPOT, 지연
    print(f"{i + 1}번째: 올리기 {r['올리기']:.2f}초 · TTFT {r['TTFT']:.2f}초 · TPOT {r['TPOT'] * 1000:.0f}ms · 지연 {r['지연']:.2f}초 · 출력 {r['출력토큰']}토큰")
print("답:", r["답"])

rows = []
for k in [1, 10, 30]:
    # 조항 k개를 붙인 프롬프트. 질문 끝에 k 를 적어 앞 요청과 앞부분이 달라지게 한다(프리픽스 캐시를 피한다)
    ctx = "\n".join(articles[:k])
    m = [{"role": "system", "content": f"{SYSTEM} (조항 {k}개)"},
         {"role": "user", "content": f"[조항]\n{ctx}\n\n[질문]\n근무 시간은 언제부터 언제까지인가요? 한 문장으로 답하세요."}]
    r = stream_chat(m)
    rows.append({"조항 수": k, "입력토큰": r["입력토큰"], "캐시토큰": r["캐시토큰"], "TTFT(초)": round(r["TTFT"], 2),
                 "TPOT(ms)": round(r["TPOT"] * 1000), "지연(초)": round(r["지연"], 2)})
import pandas as pd
# 결과: 입력이 길수록 TTFT(프리필)가 늘고, TPOT 은 거의 그대로다
print(pd.DataFrame(rows).to_string(index=False))

rows = []
m = [{"role": "system", "content": SYSTEM},
     {"role": "user", "content": f"[조항]\n{articles[4]}\n\n[질문]\n연차가 생기는 규칙을 아주 자세히 설명해 주세요."}]
for n in [20, 80, 240]:
    # num_predict 로 출력 토큰의 최대 수를 정한다. 자세히 쓰라고 했으므로 대개 끝까지 쓴다
    r = stream_chat(m, num_predict=n)
    rows.append({"num_predict": n, "출력토큰": r["출력토큰"], "TTFT(초)": round(r["TTFT"], 2),
                 "TPOT(ms)": round(r["TPOT"] * 1000), "지연(초)": round(r["지연"], 2)})
# 결과: 출력 토큰이 늘면 지연이 거의 비례해 늘고, TTFT 는 그대로다
print(pd.DataFrame(rows).to_string(index=False))