먼저 큰 그림부터

온라인 쇼핑몰의 상품 페이지에는 사진, 설명 글, 치수 표가 함께 있습니다. 사람은 "파란 배낭"을 찾을 때 사진을 보고, 값을 볼 때 표를 봅니다. 지금까지의 RAG 는 글만 읽었습니다. 이 장에서는 그림과 표까지 읽는 RAG 를 만들고, 이어서 문서로 문제집을 만들 듯 미세조정용 질문-답 데이터를 LLM 으로 자동으로 만들어 작은 모델을 가르칩니다.

이 장에서는 세 가지를 챙겨 갑니다. 그림과 글을 같은 공간의 숫자 줄로 바꾸는 멀티모달 임베딩(CLIP)과 그림을 글로 설명하는 비전 모델, 그림과 표가 섞인 문서를 조각으로 만들어 답하는 멀티모달 RAG, 그리고 LLM 으로 질문-답 데이터셋을 만들고 걸러서 작은 모델을 미세조정하는 파이프라인입니다. 실습은 가상 쇼핑몰 "솔빛생활"의 상품 그림 24장과 안내서로 합니다. 상품 그림은 사진이 아니라 코드로 그린 단순한 그림이고, 상품과 규정은 모두 지어낸 것입니다.