먼저 큰 그림부터

긴 회의록을 읽다가 다음 사람이 무슨 말을 할지 짐작한다고 해 봅시다. 먼저 문장을 낱말로 끊어 읽고, 낱말마다 뜻을 떠올립니다. 그다음 "지금 이 말은 앞의 어느 말과 이어지나"를 살피고, 이것을 몇 번 곱씹은 뒤, 가장 그럴듯한 다음 말을 고릅니다. GPT 가 글을 쓰는 방식이 바로 이 순서입니다.

이 장에서는 세 가지를 챙겨 갑니다. 글을 숫자로 바꾸는 법(토큰과 임베딩), 글자끼리의 관계를 읽는 Attention 의 계산, 그리고 그것을 쌓아 만든 GPT 의 짜임입니다. 2장의 신경망과 학습 루프를 그대로 써서 작은 GPT 를 직접 만들고 학습시킨 뒤, 남이 만들어 둔 번역 모델과 작은 챗봇 모델도 불러 써 봅니다. 4장부터 다루는 LLM 은 이 장의 미니 GPT 를 아주 크게 키운 것입니다.