12장. 멀티모달 RAG 와 데이터셋 자동 생성

정리

• 멀티모달은 글, 그림, 표처럼 종류가 다른 자료를 함께 다루는 것입니다. 그림에만 있는 정보(색, 모양)는 글 검색으로 찾을 수 없습니다.
• CLIP 은 그림과 글을 같은 공간의 임베딩으로 바꿔, 글로 그림 찾기, 그림으로 그림 찾기, 제로샷 분류를 하게 합니다. 다국어 글 인코더는 영어보다 약할 수 있으니 재어 봅니다.
• 비전 언어 모델로 그림을 설명 글로 바꿔 두면, 그 뒤는 글 RAG 를 그대로 씁니다. 느리므로 미리 만들어 저장합니다.
• 그림과 표가 섞인 문서는 그림 설명과 표의 행을 열쇠(코드)로 이어 한 조각으로 묶습니다.
• RAG 는 찾아보기, 미세조정은 외워 두기입니다. 자주 바뀌는 사실은 RAG, 말투와 꼴은 미세조정이 잘 맞습니다.
• 데이터셋 자동 생성은 예시를 붙인 지시로 절마다 질문-답을 만들고, 꼴, 글자, 근거, 중복으로 거르고, 시험 묶음은 사람이 따로 쓰고, 만든 과정을 카드로 남깁니다.