프로젝트 1 — 챗봇 품질 대시보드

import json
import sys
from pathlib import Path

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

sys.path.insert(0, ".")
import out_libbot as bot                       # 검색(e5)과 답. 임베딩 모델도 여기서 빌려 쓴다

plt.rcParams["font.family"] = "Malgun Gothic"        # 한글 글꼴(5단계의 그래프)
plt.rcParams["axes.unicode_minus"] = False

RULES = {"p95": 6.0, "오류율": 0.05, "모름": 0.12, "싫어요": 0.08, "PSI": 0.1}
DOCS = [c.split(":")[0] for c in bot.CHUNKS]  # 조각마다의 문서 이름


def psi(base, now, eps=1e-4):
    keys = sorted(set(base.index) | set(now.index))
    b = base.reindex(keys, fill_value=0).to_numpy() + eps
    n = now.reindex(keys, fill_value=0).to_numpy() + eps
    return float(((n - b) * np.log(n / b)).sum())


def weekly_report(log, base_weeks=4):
    """운영 기록 → (주간 표, 처음 보는 질문 표, 기준 기간 평균)"""
    log = log.copy()
    log["주"] = (log["시각"] - log["시각"].min().normalize()).dt.days // 7 + 1
    uniq = log["질문"].unique()
    Q = bot.emb.encode(["query: " + q for q in uniq], normalize_embeddings=True)
    log["주제"] = log["질문"].map(dict(zip(uniq, [DOCS[i] for i in (Q @ bot.VECS.T).argmax(axis=1)])))
    base = log[log["주"] <= base_weeks]
    base_q = Q[np.isin(uniq, base["질문"].unique())]
    log["처음"] = log["질문"].map(dict(zip(uniq, (Q @ base_q.T).max(axis=1)))) < 0.95
    p0 = base["주제"].value_counts(normalize=True)
    g = log.groupby("주")
    table = pd.DataFrame({
        "질문": g.size(), "p95": g["지연초"].quantile(0.95), "오류율": g["오류"].mean(), "모름": g["모름"].mean(),
        "싫어요": g["피드백"].apply(lambda s: (s == "싫어요").mean()),
        "PSI": g["주제"].apply(lambda s: psi(p0, s.value_counts(normalize=True))), "처음 보는 비율": g["처음"].mean(),
    })
    table["알림"] = [", ".join(k for k, v in RULES.items() if row[k] > v) for _, row in table.iterrows()]
    new_q = log[log["처음"]].groupby(["주", "질문"]).size().rename("수").reset_index()
    return table, new_q, table.loc[:base_weeks].mean(numeric_only=True)


log = pd.read_csv("chat_log.csv", parse_dates=["시각"])
weekly, new_q, base_mean = weekly_report(log)
weekly.round(4).to_csv("out_weekly.csv", encoding="utf-8-sig")
new_q.to_csv("out_new_questions.csv", index=False, encoding="utf-8-sig")
# 결과: 주간 표
print(weekly.round(3).to_string())

# 화면 파일. 위의 표 두 개를 읽어 그린다(모델을 부르지 않아 빨리 뜬다)
Path("out_dashboard.py").write_text('''import pandas as pd
import streamlit as st

st.set_page_config(page_title="도서관 챗봇 품질", layout="wide")
weekly = pd.read_csv("out_weekly.csv", index_col="주").fillna({"알림": ""})
new_q = pd.read_csv("out_new_questions.csv")
base = weekly.loc[:4].mean(numeric_only=True)          # 기준 기간(1~4주)의 평균

st.title("도서관 챗봇 품질 대시보드")
week = st.selectbox("주", weekly.index.tolist(), index=len(weekly) - 1, key="week")
row = weekly.loc[week]
cols = st.columns(4)
for col, (name, label) in zip(cols, [("p95", "지연 p95(초)"), ("오류율", "오류율"), ("모름", "모름 비율"), ("싫어요", "싫어요 비율")]):
    col.metric(label, f"{row[name]:.3f}", delta=f"{row[name] - base[name]:+.3f}", delta_color="inverse")
st.caption(f"질문 {int(row['질문'])}개 · 주제 PSI {row['PSI']:.3f} · 처음 보는 질문 {row['처음 보는 비율']:.3f} (변화는 1~4주 평균 대비)")
if row["알림"]:
    for name in row["알림"].split(", "):
        st.error(f"알림: {name} 이(가) 문턱을 넘었습니다")
else:
    st.success("알림 없음")
st.subheader("주마다의 지표")
st.line_chart(weekly[["모름", "싫어요", "처음 보는 비율"]])
st.subheader("이번 주에 처음 보는 질문")
st.dataframe(new_q[new_q["주"] == week].sort_values("수", ascending=False).head(5), hide_index=True)
''', encoding="utf-8")
print("화면 파일:", Path("out_dashboard.py").stat().st_size, "바이트")

from streamlit.testing.v1 import AppTest

at = AppTest.from_file(str(Path("out_dashboard.py").resolve()), default_timeout=60).run()
# 결과: 처음 열면 마지막 주(8주)가 골라져 있다
print("고른 주:", at.selectbox(key="week").value)
print("지표:", [(m.label, m.value, m.delta) for m in at.metric])
print("알림:", [e.value for e in at.error], "· 표 행 수:", len(at.dataframe[0].value))
for week in [3, 7]:
    at.selectbox(key="week").set_value(week).run()
    print(f"{week}주 →", [e.value for e in at.error] or [s.value for s in at.success])

top_new = new_q.groupby("질문")["수"].sum().sort_values(ascending=False).head(8)
rows = []
for q, n in top_new.items():
    text, chunks = bot.answer(q, "v3")
    rows.append({"질문": q, "수": int(n), "1등 문서": chunks[0].split(":")[0], "답": text[:60]})
todo = pd.DataFrame(rows)
# 결과: 자주 나온 처음 보는 질문과 챗봇의 실제 답
print(todo.to_string(index=False))
print("다시 물음", bot.retried["수"])

fig, axes = plt.subplots(1, 3, figsize=(12, 3.4))
weekly["p95"].plot(ax=axes[0], marker="o", title="지연 p95(초)")
axes[0].axhline(RULES["p95"], linestyle="--", color="gray")
weekly[["모름", "싫어요"]].plot(ax=axes[1], marker="o", title="모름·싫어요 비율")
axes[1].axhline(RULES["모름"], linestyle="--", color="gray")
weekly[["PSI", "처음 보는 비율"]].plot(ax=axes[2], marker="o", title="드리프트 신호")
axes[2].axhline(RULES["PSI"], linestyle="--", color="gray")
for ax in axes:
    ax.set_xlabel("주")
plt.tight_layout()
plt.show()

# 이번 주(8주)에 할 일: 알림이 난 지표와, 답하지 못한 처음 보는 질문
last = weekly.iloc[-1]
print("8주 알림:", last["알림"] or "없음")
print("문서를 보탤 후보:", todo[todo["답"].str.contains("안내 자료에 없")]["질문"].tolist())