먼저 큰 그림부터

두꺼운 전공 책의 내용을 우리 회사에 맞게 고쳐 쓰고 싶다고 해 봅시다. 책을 처음부터 다시 쓰는 대신, 책은 그대로 두고 필요한 쪽에 메모지를 붙여 고칩니다. 메모지만 공부하면 되니 빠르고, 메모지를 떼면 원래 책으로 돌아갑니다. 그다음 같은 질문에 대한 두 답 가운데 더 나은 쪽을 골라 가며 말투를 다듬습니다.

이 장에서는 세 가지를 챙겨 갑니다. 모델 전체가 아니라 작은 부분만 학습하는 LoRA 의 원리와 쓰는 법, 4GB GPU 에서도 5억 파라미터 모델을 학습하게 해 주는 메모리 아끼는 기술, 그리고 고른 답과 반대 답의 쌍으로 답의 성향을 바꾸는 DPO 입니다. 3장과 4장의 Qwen2.5-0.5B-Instruct 를 이번에는 직접 다듬습니다. 4장에서 "0.5B 모델의 전체 학습은 이 GPU 에 들어가지 않는다"고 어림한 문제를 이 장에서 풉니다.