6장. RAG 의 원리와 로컬 모델로 옮기기
먼저 큰 그림부터
오픈북 시험을 떠올려 봅시다. 모든 내용을 외우지 않아도, 문제를 읽고 교재에서 그 쪽을 찾아 펼쳐 놓고 보며 답을 씁니다. 교재가 바뀌면 새 교재를 들고 들어가면 됩니다. 시험장을 옮겨도 교재와 펜만 챙기면 같은 방식으로 풉니다.
이 장에서는 세 가지를 챙겨 갑니다. LLM 이 모르는 우리 문서를 질문 때마다 찾아 붙여 주는 RAG 의 세 단계(검색, 증강, 생성), 낱말이 겹치는 정도로 문서 조각을 찾는 키워드 검색, 그리고 같은 RAG 코드를 외부 API 에서 내 PC 의 로컬 모델(Ollama)로 옮기는 법입니다. 5장에서는 모델을 다시 학습해 사실을 가르쳤습니다. 이 장에서는 학습 없이 문서를 보여 주기만 해서 답하게 합니다.