먼저 큰 그림부터

솜씨 좋은 도서관 사서를 떠올려 봅시다. 손님이 "비밀번호를 잊었을 때 보는 책"을 찾으면, 제목에 "비밀번호"가 없어도 "계정 잠김"을 다룬 책을 찾아 줍니다. 낱말이 아니라 뜻으로 찾기 때문입니다. 사서는 책마다 내용을 기억해 두고, 비슷한 책을 가까이 꽂아 두며, 가끔 손님이 정말 원하던 책을 찾았는지 되짚어 봅니다.

이 장에서는 세 가지를 챙겨 갑니다. 글을 뜻이 담긴 숫자 줄로 바꾸는 임베딩과 그것으로 찾는 의미 검색, 많은 숫자 줄을 저장하고 빠르게 찾게 해 주는 벡터DB(FAISS, Chroma), 그리고 검색이 얼마나 잘 되는지 hit@k 와 MRR 로 재고 하이브리드 검색과 재정렬로 고치는 법입니다. 6장의 키워드 검색이 놓친 "토요일"과 "주말" 같은 질문을 이 장에서 다시 봅니다. 마지막으로 RAG 에 붙일 오픈소스 LLM 을 견주어 고릅니다.