먼저 큰 그림부터

새 직원이 일을 배우는 모습을 떠올려 보세요. 처음에는 일단 해 봅니다. 선배가 결과를 보고 얼마나 틀렸는지 알려 줍니다. 직원은 어느 판단이 가장 크게 틀렸는지 거꾸로 짚어 보고, 그 부분을 조금 고칩니다. 이것을 수백 번 되풀이하면 일이 손에 익습니다. 신경망이 배우는 방법도 이와 같습니다.

이 장에서는 세 가지를 챙겨 갑니다. 신경망이 어떤 부품(뉴런, 층, 활성화 함수)으로 이루어지는지, 어떻게 스스로 고쳐 가며 배우는지(손실, 경사하강법, 역전파), 그리고 그것을 PyTorch 로 어떻게 코드로 옮기는지입니다. 1장의 학습용·시험용 나누기와 MAE 를 그대로 다시 씁니다. 3장의 Transformer 와 그 뒤의 LLM 도 모두 이 장의 신경망을 크게 쌓은 것입니다.