먼저 큰 그림부터

다리가 없는 섬에 도서관을 차린다고 해 봅시다. 필요한 책장과 도구는 배에 미리 실어 들여와야 합니다. 섬 곳곳에서 모은 책은 먼지를 털고, 찢어진 쪽을 붙이고, 같은 책이 두 권이면 한 권을 치웁니다. 책 등에는 라벨을 붙여 서가에 꽂고, 사서는 찾아온 사람의 출입증을 보고 그 사람이 볼 수 있는 책에서만 답을 찾아 줍니다. 회사의 폐쇄망 안에서 RAG 를 차리는 일이 이와 같습니다.

이 장에서는 세 가지를 챙겨 갑니다. 인터넷이 끊긴 곳에서 모델과 패키지를 들여오고 바깥으로 나가는 연결을 막는 법, 여러 형식의 사내 문서를 모아 정제하고 중복과 옛 판을 걸러 라벨 붙은 조각으로 만드는 문서 파이프라인, 그리고 벡터DB 를 견주어 고르고 사용자의 등급에 맞는 문서로만 답하는 폐쇄형 RAG 입니다. 실습은 가상의 제조 회사 "누리솔정밀"의 사내 문서로 합니다. 회사, 사람, 규정, 숫자는 모두 지어낸 것입니다.