먼저 큰 그림부터

여행 가방에 짐을 다 넣으려면 세 가지 방법이 있습니다. 옷을 압축 팩에 넣어 부피를 줄이고(양자화), 안 입을 옷을 빼고(프루닝), 큰 짐 대신 꼭 필요한 것만 담은 작은 가방을 새로 꾸립니다(지식증류). 4GB GPU 에 LLM 을 넣는 일이 이와 같습니다. 무엇을 얼마나 줄였을 때 답이 얼마나 나빠지는지 재어 보고, 우리 GPU 와 업무에 맞는 지점을 고릅니다.

이 장에서는 세 가지를 챙겨 갑니다. 숫자를 적은 비트로 나타내 모델의 크기와 메모리를 줄이는 양자화(bitsandbytes 의 8비트·4비트, Ollama 의 GGUF 단계, GPTQ·AWQ), 덜 중요한 가중치를 지우는 프루닝, 큰 모델(선생님)의 답으로 작은 모델(학생)을 가르치는 지식증류입니다. 그리고 크기, 속도, 품질을 함께 재어 우리 GPU 에 맞는 모델을 고르는 법을 익힙니다. GPTQ 와 AWQ 는 이 PC(Windows, 4GB GPU)에서 돌리지 않았고 안내 코드와 예상 출력으로 싣습니다.