2장. 신경망과 딥러닝의 기본 원리

정리

• 딥러닝은 층을 여러 겹 쌓은 신경망으로 하는 머신러닝입니다. 사람이 만들던 특성의 조합을 층이 스스로 만듭니다.
• 인공 뉴런은 입력에 가중치를 곱해 더하고 편향을 더한 뒤, 활성화 함수를 지나 값을 냅니다. 은닉층에는 ReLU 를 기본으로 씁니다.
• 신경망은 입력층, 은닉층, 출력층으로 이루어지고, 입력이 층을 차례로 지나 예측이 되는 계산이 순전파입니다.
• 손실 함수로 얼마나 틀렸는지 재고(회귀는 MSE, 분류는 교차 엔트로피), 역전파로 가중치마다 기울기를 구해, 경사하강법으로 학습률만큼 고칩니다.
• PyTorch 의 학습 루프는 zero_grad, 순전파, 손실, backward, step 의 다섯 줄을 배치마다 되풀이하는 것입니다. 전체를 한 번 다 돌면 에포크 하나입니다.
• 학습률은 보폭입니다. 너무 작으면 느리고 너무 크면 튕겨 나갑니다. 신경망의 성적은 기준선과 직선 모델과 견주어 판단합니다.