11장. 폐쇄망 문서 파이프라인과 폐쇄형 RAG
용어 짚고 가기
폐쇄망(air-gapped network): 인터넷과 끊어 둔 회사 안의 네트워크입니다. 망분리라고도 합니다. air-gapped 는 "사이에 공기 틈을 둔", 곧 선으로 이어지지 않았다는 뜻입니다.반입(import): 바깥에서 받은 파일을 검사와 승인을 거쳐 폐쇄망 안으로 들여오는 일입니다. import 는 "안으로 들여오다"라는 뜻입니다.휠(wheel): 파이썬 패키지를 미리 묶어 둔 설치 파일입니다. 확장자는.whl입니다. 패키지 저장소의 옛 별명 Cheese Shop(치즈 가게)에 맞춰 치즈 한 덩이(cheese wheel)에서 따온 이름입니다.오프라인 모드(offline mode): 라이브러리가 인터넷에서 찾지 않고 내 PC 의 캐시만 쓰게 하는 설정입니다. offline 은 "선에서 떨어진", 곧 네트워크에 이어지지 않은 상태라는 뜻입니다.텔레메트리(telemetry): 프로그램이 사용 통계를 만든 회사로 보내는 기능입니다. tele(멀리)와 metry(재기)를 붙인 말로, 멀리서 잰 값을 받아 본다는 뜻입니다.문서 파이프라인(document pipeline): 문서를 모으고, 다듬고, 나누고, 색인에 넣는 일을 차례로 잇는 흐름입니다. pipeline 은 "송유관"이라는 뜻으로, 앞 단계의 결과가 관을 따라 다음 단계로 흘러가는 모습에 빗댄 말입니다.정제(cleaning): 메뉴, 꼬리말, 쪽 번호, 끊긴 줄, 개인정보처럼 답에 쓸모없거나 해로운 것을 걷어 내는 일입니다. cleaning 은 "청소"라는 뜻입니다.인코딩(encoding): 글자를 바이트로 바꾸는 방식입니다. 요즘은 utf-8, 옛 한글 윈도 파일은 cp949 를 씁니다. encode 는 "부호(code)로 바꾸다"라는 뜻입니다.해시(hash): 파일 내용으로 계산한 짧은 지문입니다. 내용이 한 글자라도 다르면 해시가 달라집니다. hash 는 "잘게 다져 섞다"라는 뜻으로, 내용을 다지듯 섞어 짧은 값으로 만드는 데서 왔습니다.메타데이터(metadata): 글 자체가 아니라 글에 대한 정보입니다. 출처, 부서, 등급, 판, 날짜 등입니다. meta 는 그리스어로 "넘어서, 위에"라는 뜻으로, 데이터에 대한 데이터라는 말입니다.보안 등급(security level): 문서를 누가 볼 수 있는지 정한 단계입니다. 이 장에서는 1 공개, 2 사내, 3 비밀입니다. level 은 "단계, 높이"라는 뜻입니다.폐쇄형 RAG(closed RAG): 모델, 임베딩, 벡터DB 를 모두 사내에 두고 바깥 서비스 없이 도는 RAG 입니다. RAG 는 Retrieval-Augmented Generation 의 머리글자로, Retrieval(검색)로 Augmented(보강한) Generation(생성)이라는 뜻입니다.IVF(Inverted File Index): 벡터를 여러 칸으로 나눠 두고 질문과 가까운 몇 칸만 뒤지는 인덱스입니다. Inverted(뒤집은) File(파일) Index(색인)라는 뜻으로, 칸마다 그 칸에 든 벡터 목록을 적어 두는 꼴에서 왔습니다.HNSW(Hierarchical Navigable Small World): 벡터를 이웃끼리 이은 그물로 만들어 두고 이웃을 따라 건너가며 찾는 인덱스입니다. Hierarchical(층층이 쌓인), Navigable(건너다닐 수 있는), Small World(몇 다리만 건너면 닿는 좁은 세상)라는 뜻입니다.재현율(recall): 정확한 검색이 찾은 가까운 벡터 가운데 빠른 검색도 찾은 몫입니다. recall 은 "다시 불러내다"라는 뜻으로, 찾아야 할 것을 얼마나 불러냈는지를 가리킵니다.증분 색인(incremental indexing): 색인을 통째로 다시 만들지 않고 바뀐 문서만 고쳐 넣는 방식입니다. incremental 은 "조금씩 늘어나는"이라는 뜻입니다.