15장. 모델 경량화: 양자화, 프루닝, 지식증류
실습 지도
요리책 맨 앞의 순서표처럼, 이 장의 실습 여섯 개를 한 장에 모았습니다. 실습마다 필요한 파일(준비물)과 남기는 파일(결과물), 먼저 해야 할 실습을 보여 줍니다. 실습을 시작하기 전에 한 번 훑어보세요. "파일이 없다"는 오류가 나면 여기로 돌아와 먼저 할 실습을 찾습니다.
그림의 상자 하나가 실습 하나이고, 상자 아래쪽에 준비물(실습에 필요한 파일)과 결과물(실습이 남기는 파일)을 적었습니다. 이 장의 실습은 서로 파일을 주고받지 않으므로 화살표가 없고, 어느 실습부터 해도 됩니다. 실습마다 준비 코드를 처음부터 다시 적어 두었기 때문입니다.
| 실습 | 준비물(쓰는 파일) | 결과물(남는 파일) | 먼저 할 실습 |
|---|---|---|---|
| 실습 1. 직접 양자화해 보기 | shop_corpus.txt | 없음 | 없음 |
| 실습 2. 같은 모델을 fp16, 8비트, 4비트로 불러오기 | shop_corpus.txt | 없음 | 없음 |
| 실습 3. Ollama 의 양자화 단계 견주기 | company_rules.txt, company_rules_qa.jsonl | 없음 | 없음 |
| 실습 4. 프루닝: 가지를 쳐도 맞히나 | 없음(코드가 직접 받거나 만든다) | 없음 | 없음 |
| 실습 5. 지식증류: 큰 모델의 답으로 작은 모델 가르치기 | 없음(코드가 직접 받거나 만든다) | 없음 | 없음 |
| 실습 6. LLM 은 가지치기에 얼마나 견디나 | shop_corpus.txt | 없음 | 없음 |