12장. 멀티모달 RAG 와 데이터셋 자동 생성
실습 지도
요리책 맨 앞의 순서표처럼, 이 장의 실습 여섯 개를 한 장에 모았습니다. 실습마다 필요한 파일(준비물)과 남기는 파일(결과물), 먼저 해야 할 실습을 보여 줍니다. 실습을 시작하기 전에 한 번 훑어보세요. "파일이 없다"는 오류가 나면 여기로 돌아와 먼저 할 실습을 찾습니다.
그림의 상자 하나가 실습 하나이고, 상자 아래쪽에 준비물(실습에 필요한 파일)과 결과물(실습이 남기는 파일)을 적었습니다. 다홍 화살표(실습 3 → 실습 4, 실습 5 → 실습 6)는 앞 실습의 결과물(out_ 파일)을 뒤 실습이 준비물로 쓴다는 뜻입니다. 화살표가 들어오는 실습은 화살표가 나가는 실습을 먼저 해야 합니다. 화살표가 없는 실습은 혼자 돌아갑니다.
| 실습 | 준비물(쓰는 파일) | 결과물(남는 파일) | 먼저 할 실습 |
|---|---|---|---|
| 실습 1. 글로 그림 찾기 | product_labels.csv | 없음 | 없음 |
| 실습 2. 그림으로 찾고 이름 붙이기 | product_labels.csv | 없음 | 없음 |
| 실습 3. 비전 모델로 그림 설명 만들기 | product_labels.csv | out_captions.csv | 없음 |
| 실습 4. 그림과 표가 섞인 안내서로 답하기 | out_captions.csv, product_guide.md, product_guide_qa.jsonl, product_labels.csv | 없음 | 실습 3 |
| 실습 5. 안내서로 질문-답 데이터 만들기 | care_guide.md | out_generated_raw.jsonl | 없음 |
| 실습 6. 생성 데이터 거르고 나누기 | out_generated_raw.jsonl, care_guide.md, care_test.jsonl | out_sft_train.jsonl, out_dataset_card.json | 실습 5 |