프로젝트 1 — 아파트 관리규약 Q&A

import json, re, time
from collections import Counter
from openai import OpenAI, APIError
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

pieces, chapter = [], ""
for line in open("apt_rules.txt", encoding="utf-8").read().split("\n"):
    if re.match(r"^제\d+장 ", line):                 # 장 제목 줄: 기억해 두었다가 아래 조항에 붙인다
        chapter = line
    elif line.startswith("제") and "조(" in line:    # 조항 줄
        m = re.match(r"제(\d+)조\((.+?)\)", line)
        pieces.append({"장": chapter, "조": int(m.group(1)), "제목": m.group(2), "글": line})
qa = [json.loads(line) for line in open("apt_rules_qa.jsonl", encoding="utf-8")]
title_to_no = {p["제목"]: p["조"] for p in pieces}     # 근거조항(제목) → 조항 번호
print("조각", len(pieces), "개 · 질문", len(qa), "개")
print(pieces[8])

def make_search(docs):
    """문서 글 목록으로 TF-IDF 검색 함수를 만들어 돌려준다"""
    vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 3))
    X = vec.fit_transform(docs)
    def search(question, k=3):
        scores = cosine_similarity(vec.transform([question]), X)[0]
        return scores.argsort()[::-1][:k].tolist()
    return search

def hit_at_3(search):
    """규약에 있는 질문 20개 가운데 정답 조항이 위 3개에 든 수"""
    return sum(title_to_no[r["근거조항"]] in [pieces[i]["조"] for i in search(r["질문"])]
               for r in qa if r["근거조항"])

plain = make_search([p["글"] for p in pieces])
with_chapter = make_search([p["장"] + " " + p["글"] for p in pieces])   # "제4장 주차 제9조(…) …"
print("장 제목 없이 hit@3:", hit_at_3(plain), "/ 20")
print("장 제목 붙여 hit@3:", hit_at_3(with_chapter), "/ 20")

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
MODEL = "qwen2.5:3b"          # 실습 6에서 가장 나았던 모델
REFUSE = ["찾지 못", "찾을 수 없", "나와 있지 않", "제공되지 않"]

def answer(question, system):
    idx = with_chapter(question)
    context = "\n".join(pieces[i]["글"] for i in idx)
    msgs = [{"role": "system", "content": system},
            {"role": "user", "content": f"[규약]\n{context}\n\n[질문]\n{question}"}]
    try:
        resp = client.chat.completions.create(model=MODEL, messages=msgs, temperature=0, seed=42, max_tokens=150)
        return resp.choices[0].message.content.strip()
    except APIError as e:
        return f"[오류] {e.message[:40]}"

def evaluate(system, show=0):
    """질문 25개를 묻고 정답, 출처, 모름 맞음, 지나친 거절을 센다. show 개만큼 답을 보여 준다"""
    count = Counter()
    for n, r in enumerate(qa):
        a = answer(r["질문"], system)
        refused = any(w in a for w in REFUSE)
        if r["근거조항"]:
            count["정답"] += any(k in a for k in r["정답열쇠"].split("|"))
            count["출처"] += str(title_to_no[r["근거조항"]]) in re.findall(r"제\s*(\d+)\s*조", a)
            count["지나친 거절"] += refused
        else:
            count["모름 맞음"] += refused
        if n < show:
            print(" ", r["질문"], "→", a.replace("\n", " ")[:90])
    return dict(count)

STRICT = ("당신은 가람숲 아파트 관리사무소의 안내 직원입니다. [규약]에 적힌 내용만 근거로 한두 문장으로 답하세요. "
          "답 끝에 근거 조항 번호를 (제N조) 꼴로 적으세요. 규약에 답이 없으면 '규약에서 찾지 못했습니다.'라고만 답하세요.")
start = time.time()
print("첫째 문구:", evaluate(STRICT, show=4), f"({time.time() - start:.0f}초)")

SOFT = ("당신은 가람숲 아파트 관리사무소의 안내 직원입니다. 아래 [규약] 조항을 읽고 질문에 한두 문장으로 답하세요. "
        "질문과 관련된 조항이 있으면 그 조항의 내용으로 답하고, 답 끝에 (제N조) 꼴로 근거를 적으세요. "
        "관련된 조항이 하나도 없을 때만 '규약에서 찾지 못했습니다.'라고 답하세요.")
print("둘째 문구:", evaluate(SOFT))

# 둘째 문구로 몇 가지 답을 직접 읽어 본다
for q in ["지하주차장에서 담배 피워도 되나요?", "헌 소파는 어떻게 버리나요?", "인테리어 공사는 토요일에도 할 수 있나요?", "단지에 수영장이 있나요?"]:
    print(" ", q, "→", answer(q, SOFT).replace("\n", " ")[:110])