먼저 큰 그림부터

의사가 되는 과정을 떠올려 보세요. 먼저 의학 교과서를 잔뜩 읽어 지식을 쌓습니다. 그다음 수련의로서 선배의 진료를 따라 하며 환자를 대하는 법을 익힙니다. 마지막으로 여러 응대 가운데 어느 쪽이 더 나은지 평가를 받으며 다듬어 갑니다. LLM 도 같은 세 걸음으로 완성됩니다.

이 장에서는 세 가지를 챙겨 갑니다. LLM 을 완성하는 세 단계(사전학습, 미세조정, 정렬)가 각각 무엇을 하는지, Hugging Face 의 도구로 모델을 불러오고 학습시키는 법, 그리고 작은 언어모델을 우리 데이터로 직접 사전학습하고 미세조정해 보는 경험입니다. 3장의 미니 GPT 를 이번에는 Hugging Face 의 부품으로 다시 만들고, GPU 에서 학습합니다. 정렬은 이 장에서 개념을 익히고, 5장에서 직접 해 봅니다.