실습 2 — 사내 문서 의미 검색

import time
from sentence_transformers import SentenceTransformer

text = open("it_helpdesk.md", encoding="utf-8").read()
# "## 제목" 마다 나누고, 맨 앞의 문서 제목과 소개는 뺀다
chunks = ["## " + s.strip() for s in text.split("\n## ")[1:]]
print("조각 수:", len(chunks))
print(chunks[3].replace("\n", " / "))     # 줄바꿈을 / 로 바꿔 한 줄로 본다

emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")
start = time.time()
# 문서 조각에는 passage: 를 붙인다. 이 임베딩은 한 번 만들어 두고 계속 쓴다
E = emb.encode(["passage: " + c for c in chunks], normalize_embeddings=True)
print("임베딩 모양:", E.shape, f"· {time.time() - start:.1f}초")

import numpy as np

def title(c):
    """조각의 첫 줄 '## 제목' 에서 제목만"""
    return c.split("\n")[0].removeprefix("## ")

def semantic_search(question, k=3):
    """질문과 코사인 유사도가 높은 조각 k 개의 (번호, 점수)"""
    q = emb.encode("query: " + question, normalize_embeddings=True)
    scores = E @ q
    top = np.argsort(-scores)[:k]
    return [(int(i), round(float(scores[i]), 3)) for i in top]

for i, s in semantic_search("로그인을 여러 번 실패해서 들어갈 수가 없어요."):
    print(s, title(chunks[i]))

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 6장의 키워드 검색: 2~3 글자 조각의 TF-IDF
vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 3))
X = vec.fit_transform(chunks)
def keyword_search(question, k=3):
    scores = cosine_similarity(vec.transform([question]), X)[0]
    return [(int(i), round(float(scores[i]), 3)) for i in np.argsort(-scores)[:k]]

for q in ["암호는 얼마나 자주 새로 정해야 하나요?", "로그인을 여러 번 실패해서 들어갈 수가 없어요.", "예전에 쓰던 암호를 다시 써도 되나요?"]:
    print("질문:", q)
    print("  키워드:", [title(chunks[i]) for i, _ in keyword_search(q)])
    print("  의미  :", [title(chunks[i]) for i, _ in semantic_search(q)])