프로젝트 3 — 공공 민원 FAQ 도우미

import json, time, urllib.request
import numpy as np
import pandas as pd
from sentence_transformers import SentenceTransformer
from openai import OpenAI, APIError

faq = pd.read_csv("civil_faq.csv")
queries = pd.read_csv("civil_queries.csv")
print("FAQ:", len(faq), "개 · 부서:", faq["부서"].nunique(), "곳")
print(faq.head(3).to_string(index=False))
print("주민의 말:", len(queries), "개 · FAQ 에 없는 말:", int((queries["정답번호"] == 0).sum()), "개")

emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")
U = emb.encode(["query: " + x for x in queries["말"]], normalize_embeddings=True)
inside = (queries["정답번호"] > 0).to_numpy()
gold = queries["정답번호"].to_numpy()

ways = {"질문만": ["query: " + q for q in faq["질문"]],
        "질문+답변": ["passage: " + q + " " + a for q, a in zip(faq["질문"], faq["답변"])]}
match = {}
for name, texts in ways.items():
    F = emb.encode(texts, normalize_embeddings=True)
    S = U @ F.T                                      # (주민의 말 32, FAQ 40)
    best, score = S.argmax(axis=1) + 1, S.max(axis=1)  # 1등 FAQ 번호(1부터)와 그 점수
    match[name] = (best, score)
    print(f"{name:6s} 1등이 정답: {int((best[inside] == gold[inside]).sum())}/26 · "
          f"있는 말의 점수 최저 {score[inside].min():.3f} · 없는 말의 점수 최고 {score[~inside].max():.3f}")

best, score = match["질문+답변"]
rows = []
for t in [0.0, 0.83, 0.84, 0.85, 0.86, 0.87, 0.88]:
    answer = score >= t                                  # 기준값을 넘으면 답한다
    rows.append({"기준값": t,
                 "맞게 답함": int((answer & (best == gold)).sum()),
                 "잘못 답함": int((answer & (best != gold)).sum()),
                 "넘김": int((~answer).sum()),
                 "넘김 중 FAQ 에 없는 말": int((~answer & ~inside).sum())})
print(pd.DataFrame(rows).to_string(index=False))

THRESHOLD = 0.86
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
MODEL = "qwen2.5:3b"
SYSTEM = ("당신은 가온구청의 민원 안내 도우미입니다. 아래 [FAQ] 하나의 내용만 써서 주민에게 두세 문장으로 친절하게 답하세요. "
          "금액, 날짜, 장소를 바꾸지 말고, 마지막에 담당 부서를 알려 주세요.")
HANDOFF = "정확한 안내를 위해 민원 상담 창구(02-0000-0000, 지어낸 번호)로 연결해 드리겠습니다."

def unload(model):
    body = json.dumps({"model": model, "keep_alive": 0}).encode()
    urllib.request.urlopen(urllib.request.Request("http://localhost:11434/api/generate", data=body,
                                                  headers={"Content-Type": "application/json"})).read()

def ask(messages):
    for _ in range(3):
        try:
            resp = client.chat.completions.create(model=MODEL, messages=messages, temperature=0, seed=42, max_tokens=150)
            return resp.choices[0].message.content.strip()
        except APIError as e:
            error = e.message[:40]
            unload(MODEL)
            time.sleep(2)
    return f"[오류] {error}"

def helper(n):
    """n 번째 주민의 말에 답한다. 점수가 기준값보다 낮으면 넘긴다"""
    b, s = int(best[n]), float(score[n])
    if s < THRESHOLD:
        return f"(점수 {s:.3f}, 넘김) {HANDOFF}"
    row = faq[faq["번호"] == b].iloc[0]
    msgs = [{"role": "system", "content": SYSTEM},
            {"role": "user", "content": f"[FAQ]\n부서: {row['부서']}\n질문: {row['질문']}\n답변: {row['답변']}\n\n[주민의 말]\n{queries['말'][n]}"}]
    return f"(점수 {s:.3f}, FAQ {b}) " + ask(msgs)

for n in [6, 18, 13, 26, 30]:
    print("주민:", queries["말"][n])
    print("도우미:", helper(n).replace("\n", " "))

wrong = [n for n in range(len(queries)) if score[n] >= THRESHOLD and best[n] != gold[n]]
for n in wrong:
    b = int(best[n])
    print(f"말: {queries['말'][n]} | 정답 FAQ {gold[n]} | 짝지은 FAQ {b}: {faq['질문'][b - 1]} ({score[n]:.3f})")