15장. 모델 경량화: 양자화, 프루닝, 지식증류

정리

• 모델의 가중치 메모리는 파라미터 수 × 숫자 하나의 바이트이고, 여기에 KV 캐시와 여유가 더해집니다. 4GB GPU 에 3B 모델은 4비트여야 들어갑니다.
• 양자화는 스케일로 나눠 반올림해 적은 비트의 정수로 나타내는 일입니다. 튀는 값이 오차를 키우므로 그룹마다 스케일을 둡니다.
• bitsandbytes 는 불러올 때, GGUF·GPTQ·AWQ 는 미리 파일로 양자화합니다. GPTQ 와 AWQ 는 보정 데이터로 오차를 줄입니다.
• 비정형 프루닝은 정확도가 잘 버티지만 크기와 속도가 그대로이고, 정형 프루닝은 실제로 작아지지만 다시 학습이 필요합니다. LLM 은 프루닝에 약합니다.
• 지식증류는 큰 모델의 답이나 확률로 작은 모델을 가르칩니다. 정답 표시가 없는 데이터에도 선생님이 답을 붙일 수 있는 것이 큰 힘입니다.
• 경량화는 크기, 속도, 퍼플렉서티, 과제 정확도를 함께 재고, 조건(메모리, 시간)으로 먼저 거른 뒤 품질로 고릅니다.