12장. 멀티모달 RAG 와 데이터셋 자동 생성

용어 짚고 가기

멀티모달(multimodal)글, 그림, 소리처럼 종류가 다른 자료를 함께 다루는 것입니다. 자료의 종류 하나를 모달리티(modality)라고 합니다. multi(여럿)와 modal(방식, 양식)을 붙인 말입니다.
CLIP(대조 언어-그림 사전 학습)그림과 글을 같은 공간의 임베딩으로 바꾸도록 함께 학습한 모델입니다. 그림 인코더와 글 인코더로 되어 있습니다. Contrastive Language-Image Pre-training 의 머리글자로, Contrastive(대조하는), Language-Image(글과 그림), Pre-training(사전 학습)이라는 뜻입니다.
인코더(encoder)그림이나 글을 받아 임베딩(숫자 줄)으로 바꾸는 부분입니다. encode(부호로 바꾸다)에 "하는 것"을 뜻하는 -er 를 붙인 말입니다.
제로샷 분류(zero-shot classification)따로 학습하지 않고, 이름표 글들과의 유사도만으로 그림의 종류를 고르는 방법입니다. zero-shot 은 "예시를 한 번도(0번) 보여 주지 않고"라는 뜻입니다.
비전 언어 모델(Vision Language Model)그림을 보고 글로 답하는 LLM 입니다. VLM 이라고 줄여 부릅니다. VLM 은 Vision(시각), Language(언어), Model(모델)의 머리글자입니다.
캡션(caption)그림을 설명하는 짧은 글입니다. caption 은 그림이나 기사에 붙는 짧은 제목이나 설명이라는 뜻입니다.
base64(베이스 64)그림 같은 바이트를 글자로 바꿔 JSON 에 담는 방법입니다. 영문 대소문자, 숫자, +, / 의 64가지 글자로 나타낸다는 뜻의 이름입니다.
멀티모달 RAG(multimodal RAG)글뿐 아니라 그림과 표에서도 근거를 찾아 답하는 RAG 입니다. RAG 는 Retrieval-Augmented Generation(검색 증강 생성)의 머리글자입니다.
데이터셋 자동 생성(synthetic data generation)LLM 에게 문서를 주고 학습용 질문과 답을 만들게 하는 일입니다. 합성 데이터라고도 합니다. synthetic 은 "합성한, 만들어 낸"이라는 뜻입니다.
근거 확인(grounding check)생성한 답의 숫자와 낱말이 원래 문서에 정말 있는지 견주는 것입니다. grounding 은 "땅에 붙이다"라는 뜻으로, 답을 실제 근거에 붙들어 둔다는 말입니다.
데이터 누출(data leakage)시험 문제가 학습 데이터에 섞여 들어가 점수가 부풀려지는 것입니다. leakage 는 "새어 나감"이라는 뜻입니다.
데이터셋 카드(dataset card)데이터를 어디서, 무엇으로, 어떻게 만들고 걸렀는지 적은 기록입니다. card 는 요점을 적은 작은 안내 카드라는 뜻입니다.