4장. LLM 을 완성하는 3단계와 Hugging Face

정리

• LLM 은 사전학습(라벨 없는 글로 다음 토큰 맞히기), 미세조정(질문과 모범 답으로 답하는 법), 정렬(두 답 가운데 나은 쪽으로 다듬기)의 세 단계로 완성됩니다. 사전학습만 한 것이 기본 모델, 나머지를 거친 것이 지시 모델입니다.
• 언어모델의 실력은 손실과 퍼플렉서티(e 의 손실 제곱)로 잽니다. 낮을수록 다음 토큰을 잘 맞히지만, 질문에 맞게 답하는지는 따로 채점해야 합니다.
• SFT 는 프롬프트 템플릿으로 질문과 답을 이어 붙이고, 질문 자리의 정답을 -100 으로 두어 답 부분만 채점합니다. 학습할 때와 물어볼 때의 템플릿은 같아야 합니다.
• Hugging Face 의 Hub 에서 모델 카드와 라이선스를 확인하고, Auto 클래스로 토크나이저와 모델을 짝 맞춰 불러옵니다. datasets 로 데이터를 다듬고, Trainer 가 학습 루프를 대신 돌립니다.
• 생성은 탐욕적 선택, 온도, top-k, top-p, 반복 벌점으로 조절합니다.
• GPU 메모리는 추론에 파라미터의 2배(fp16), 전체 학습에 16배쯤의 바이트가 듭니다. 4GB GPU 로는 0.5B 모델의 전체 학습이 어려워 5장의 LoRA 가 필요합니다.