15장. 모델 경량화: 양자화, 프루닝, 지식증류
확인문제와 해답
객관식
Q1파라미터가 30억 개인 모델의 가중치를 4비트로 나타내면 대략 몇 GB 일까요?
Q2양자화에서 가중치를 그룹(예: 128개)마다 따로 스케일을 두는 까닭으로 알맞은 것은 무엇일까요?
Q3보정 데이터로 층마다 양자화 오차를 남은 가중치로 메우며 4비트로 바꾸는 방법은 무엇일까요?
Q4크기가 작은 가중치를 하나씩 0 으로 만드는 비정형 프루닝에 대한 설명으로 알맞은 것은 무엇일까요?
Q5지식증류에서 선생님 모델의 확률을 온도 T 로 나눠 부드럽게 한 것을 무엇이라고 할까요?
Q6Ollama 로 올린 모델이 GPU 에 다 들어갔는지 확인하는 방법으로 알맞은 것은 무엇일까요?
Q7경량화한 모델을 고르는 순서로 알맞은 것은 무엇일까요?
단답형
숫자를 더 적은 비트의 정수로 나타내 모델의 크기를 줄이는 일을 무엇이라고 합니까?
정답 보기
양자화
큰 모델(선생님)의 답으로 작은 모델(학생)을 가르치는 일을 무엇이라고 합니까?
정답 보기
지식증류
글을 이어 쓸 때 앞 토큰의 계산 결과를 저장해 두는, 글이 길수록 커지는 메모리를 무엇이라고 합니까?
정답 보기
KV 캐시
정답
정답 전체 보기
객관식: 1-A, 2-B, 3-C, 4-B, 5-D, 6-A, 7-C
단답형: 1. 양자화. 2. 지식증류. 3. KV 캐시.