15장. 모델 경량화: 양자화, 프루닝, 지식증류
용어 짚고 가기
경량화(model compression)모델의 크기, 메모리, 계산량을 줄이는 일입니다. compression 은 "압축"이라는 뜻입니다.파라미터(parameter)모델이 학습한 숫자(가중치)입니다. Qwen2.5-0.5B 에는 약 4억 9,400만 개가 있습니다. 그리스어 para(곁)와 metron(재는 것)에서 온 말로, 모양을 정하는 값을 뜻합니다.정밀도(precision)숫자 하나를 몇 비트로 나타내는지입니다. fp32 는 32비트, fp16 은 16비트입니다. precision 은 "정밀함"이라는 뜻이고, fp 는 floating point(부동소수점)의 머리글자입니다.양자화(quantization)숫자를 더 적은 비트(8비트, 4비트 정수 등)로 나타내 크기를 줄이는 일입니다. quantum(양, 덩어리)에서 온 말로, 이어진 값을 띄엄띄엄 정해진 값으로 끊는다는 뜻입니다.스케일(scale)양자화한 정수를 원래 크기의 숫자로 되돌릴 때 곱하는 값입니다. scale 은 "눈금, 비율"이라는 뜻입니다.그룹 양자화(group-wise quantization)가중치를 작은 묶음(예: 128개)으로 나눠 묶음마다 스케일을 따로 두는 양자화입니다. group-wise 는 "묶음마다"라는 뜻입니다.GGUFllama.cpp 와 Ollama 가 쓰는 모델 파일 꼴입니다. Q4_K_M, Q8_0 같은 양자화 단계를 담습니다. 앞선 파일 꼴 GGML 을 이은 이름이며, 글자 풀이는 자료마다 달라 여기서는 적지 않습니다.GPTQ(GPT Quantization)보정 데이터로 층마다 양자화 오차를 줄이며 4비트로 바꾸는 방법입니다. GPT(Generative Pre-trained Transformer, 생성형 사전 학습 트랜스포머)와 Quantization(양자화)을 붙인 이름입니다.AWQ(활성값 인식 가중치 양자화)활성값이 큰 중요한 가중치를 보호하며 4비트로 바꾸는 방법입니다. Activation-aware Weight Quantization 의 머리글자로, Activation-aware(활성값을 살피는), Weight(가중치), Quantization(양자화)이라는 뜻입니다.보정 데이터(calibration data)양자화할 때 오차를 재는 데 쓰는 작은 예시 글 묶음입니다. calibration 은 "눈금 맞추기"라는 뜻입니다.프루닝(pruning)덜 중요한 가중치나 뉴런을 0 으로 만들거나 지우는 일입니다. 가지치기라고도 합니다. prune 은 "가지를 치다"라는 뜻입니다.희소도(sparsity)가중치 가운데 0 인 것의 몫입니다. sparse 는 "드문드문한"이라는 뜻입니다.지식증류(knowledge distillation)큰 모델(선생님)의 답으로 작은 모델(학생)을 가르치는 일입니다. distillation 은 "증류", 곧 끓여서 핵심만 받아 낸다는 뜻입니다.소프트 레이블(soft label)정답 하나가 아니라 선생님이 내놓은 보기마다의 확률입니다. soft 는 "무른", label 은 "이름표"라는 뜻으로, 하나로 딱 잘라 정하지 않은 이름표라는 말입니다.퍼플렉서티(perplexity)모델이 글의 다음 토큰을 얼마나 헷갈려하는지 나타내는 값입니다. 낮을수록 좋습니다. perplexity 는 "당혹, 헷갈림"이라는 뜻입니다.KV 캐시(KV cache)글을 이어 쓸 때 앞 토큰의 계산 결과를 저장해 두는 메모리입니다. 글이 길수록 커집니다. KV 는 Key(키)와 Value(값)의 머리글자로, 앞 토큰마다 계산해 두는 두 값을 가리킵니다.