3장. Attention 과 Transformer, GPT 직접 구현

정리

• 글은 토크나이저로 토큰(글자, 낱말, 서브워드)으로 잘라 번호를 붙이고, 임베딩으로 뜻을 담은 좌표로 바꿔 신경망에 넣습니다. 자리 정보는 위치 임베딩을 더해 줍니다.
• Attention 은 질문(Q)과 제목표(K)를 견준 점수를 softmax 로 비율로 바꾸고, 그 비율만큼 내용(V)을 섞습니다. 같은 문장 안에서 하는 것이 셀프 어텐션입니다.
• GPT 는 인과적 마스크로 앞의 글자만 보며, 멀티헤드 어텐션과 피드포워드를 잔차 연결로 이은 블록을 여러 번 쌓은 디코더입니다.
• 글은 다음 글자를 고르고 붙이기를 되풀이해 만들어지고, 온도가 낮으면 무난하게, 높으면 엉뚱하게 고릅니다.
• GPT 논문의 핵심은 라벨 없는 글로 사전학습하고 적은 정답 데이터로 미세조정하는 두 단계입니다. 남이 학습한 모델을 받아 쓰는 전이 학습, 가중치를 저장하는 체크포인트 같은 디자인 패턴이 이 과정 내내 쓰입니다.
• 작은 모델은 모르는 것을 그럴듯하게 지어냅니다(환각). 필요한 근거를 함께 넣어 주면 나아지지만, 넣는 법이 중요합니다.