실습 2 — 동시 요청을 늘려 가며 재기

import json, re, time, urllib.request, urllib.error

HOST = "http://127.0.0.1:11434"
MODEL = "qwen2.5:3b"


def post(path, body):
    req = urllib.request.Request(HOST + path, data=json.dumps(body).encode(), headers={"Content-Type": "application/json"})
    return json.loads(urllib.request.urlopen(req, timeout=300).read())


def unload_all():
    for m in json.loads(urllib.request.urlopen(HOST + "/api/ps").read())["models"]:
        post("/api/generate", {"model": m["name"], "keep_alive": 0})


BROKEN = re.compile(r"(.)\1{9,}")


def stream_chat(messages, num_predict=80, model=MODEL):
    """실습 1과 같은 함수: 스트리밍으로 TTFT, 지연, 출력 토큰 수를 잰다"""
    body = {"model": model, "messages": messages, "stream": True,
            "options": {"temperature": 0, "seed": 42, "num_predict": num_predict}}
    for _ in range(3):
        req = urllib.request.Request(HOST + "/api/chat", data=json.dumps(body).encode(),
                                     headers={"Content-Type": "application/json"})
        start, first, text, last = time.perf_counter(), None, "", {}
        try:
            with urllib.request.urlopen(req, timeout=300) as r:
                for line in r:
                    d = json.loads(line)
                    piece = d.get("message", {}).get("content", "")
                    if piece and first is None:
                        first = time.perf_counter() - start
                    text += piece
                    if d.get("done"):
                        last = d
        except urllib.error.HTTPError:
            last = {}
        if last and not BROKEN.search(text):
            break
        post("/api/generate", {"model": model, "keep_alive": 0})
    total = time.perf_counter() - start
    n = last["eval_count"]
    return {"답": text.strip(), "TTFT": first, "지연": total, "출력토큰": n}


# 벤치마크 질문: 7차시 규정 질문 16개. 세 문장으로 설명하게 해서 64토큰을 다 쓰게 한다
questions = [json.loads(l)["질문"] for l in open("company_rules_qa.jsonl", encoding="utf-8")][:16]
prompts = [[{"role": "user", "content": f"회사 규정에 대한 질문입니다. 세 문장으로 설명해 주세요.\n{q}"}] for q in questions]

unload_all()
stream_chat(prompts[0], num_predict=8)           # 몸풀기: 모델을 GPU 에 올려 둔다
print(len(prompts), "개 질문 준비")

import numpy as np
from concurrent.futures import ThreadPoolExecutor


def bench(concurrency, n_tokens=64):
    """요청 16개를 concurrency 개씩 동시에 보내고 처리량과 지연의 분포를 잰다"""
    start = time.perf_counter()
    # ThreadPoolExecutor(max_workers=c): 스레드 c 개가 요청을 나눠 보낸다 = 동시에 c 개가 서버에 가 있다
    with ThreadPoolExecutor(max_workers=concurrency) as ex:
        results = list(ex.map(lambda m: stream_chat(m, num_predict=n_tokens), prompts))
    wall = time.perf_counter() - start                     # 16개를 다 받기까지 걸린 시간
    lat = np.array([r["지연"] for r in results])
    ttft = np.array([r["TTFT"] for r in results])
    tokens = sum(r["출력토큰"] for r in results)
    return {"동시성": concurrency, "걸린 시간(초)": round(wall, 1), "처리량(토큰/초)": round(tokens / wall, 1),
            # float(): NumPy 의 숫자를 파이썬 숫자로 바꿔 출력을 깔끔하게 한다
            "TTFT p50": round(float(np.percentile(ttft, 50)), 2), "TTFT p95": round(float(np.percentile(ttft, 95)), 2),
            "지연 p50": round(float(np.percentile(lat, 50)), 2), "지연 p95": round(float(np.percentile(lat, 95)), 2)}


# 결과: 동시성 1 의 처리량과 지연
print(bench(1))

import pandas as pd

rows = [bench(c) for c in [1, 2, 4, 8]]
table = pd.DataFrame(rows)
# 결과: 동시성마다 처리량, TTFT 와 지연의 p50·p95
print(table.to_string(index=False))

import matplotlib.pyplot as plt
plt.rcParams["font.family"] = "Malgun Gothic"        # 한글 글꼴
plt.rcParams["axes.unicode_minus"] = False

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(10, 4))
ax1.plot(table["동시성"], table["처리량(토큰/초)"], marker="o")
ax1.set_xlabel("동시 요청 수"); ax1.set_ylabel("처리량(토큰/초)"); ax1.set_title("처리량")
ax1.set_ylim(0, table["처리량(토큰/초)"].max() * 1.3)
ax2.plot(table["동시성"], table["지연 p50"], marker="o", label="지연 p50")
ax2.plot(table["동시성"], table["지연 p95"], marker="o", label="지연 p95")
ax2.plot(table["동시성"], table["TTFT p95"], marker="o", label="TTFT p95")
ax2.set_xlabel("동시 요청 수"); ax2.set_ylabel("초"); ax2.set_title("지연"); ax2.legend()
plt.tight_layout()
plt.show()