4장. LLM 을 완성하는 3단계와 Hugging Face
확인문제와 해답
객관식
Q1사전학습만 마치고 미세조정과 정렬을 거치지 않은 모델을 무엇이라고 할까요?
Q2SFT 데이터에서 질문 부분의 정답 자리(labels)를 -100 으로 채우는 까닭은 무엇일까요?
Q3평균 손실이 2.3 인 언어모델의 퍼플렉서티는 대략 얼마일까요?
Q4같은 질문에 대한 "고른 답"과 "고르지 않은 답"의 쌍으로 학습하는 단계는 무엇일까요?
Q5모델 이름만 주면 알맞은 토크나이저를 골라 불러 주는 transformers 의 클래스는 무엇일까요?
Q6다음 토큰을 확률이 높은 순서로 더해 0.9 를 채울 때까지의 후보 안에서만 뽑는 설정은 무엇일까요?
Q7파라미터 5억 개 모델을 float32 와 Adam 으로 전체 학습할 때 드는 메모리는 대략 얼마일까요?
단답형
- 질문과 모범 답의 쌍으로 모델에게 답하는 법을 가르치는 미세조정을 영어 약자로 무엇이라고 합니까?
정답 보기
SFT - Hub 의 모델 쪽에 적힌, 라이선스와 학습 데이터와 한계를 설명하는 문서를 무엇이라고 합니까?
정답 보기
모델 카드 - transformers 에서 학습 루프와 평가와 저장을 대신 해 주는 클래스는 무엇입니까?
정답 보기
Trainer
정답
정답 전체 보기
객관식: 1-B, 2-A, 3-D, 4-C, 5-A, 6-D, 7-B
단답형: 1. SFT. 2. 모델 카드. 3. Trainer.