3장. Attention 과 Transformer, GPT 직접 구현
확인문제와 해답
객관식
Q1글을 모델이 다루는 조각으로 자르고 번호를 붙이는 도구는 무엇일까요?
Q2Attention 에서 "실제로 넘겨줄 내용"에 해당하는 벡터는 무엇일까요?
Q3셀프 어텐션에서 점수를 softmax 로 바꾼 비율 표의 한 줄을 모두 더하면 얼마일까요?
Q4GPT 가 학습할 때 인과적 마스크를 쓰는 까닭은 무엇일까요?
Q5Attention 만으로는 글자의 순서를 알 수 없어서 더해 주는 것은 무엇일까요?
Q6글을 생성할 때 온도를 1.5 처럼 높이면 대체로 어떻게 될까요?
Q7GPT 논문이 제안한 학습의 두 단계로 알맞은 것은 무엇일까요?
단답형
- 토큰 번호를 뜻을 담은 숫자 좌표로 바꾼 것을 무엇이라고 합니까?
정답 보기
임베딩 - 층에 들어온 값을 층의 결과에 그대로 더해 주는 연결을 무엇이라고 합니까?
정답 보기
잔차 연결 - 모델이 사실이 아닌 내용을 그럴듯하게 지어내는 현상을 무엇이라고 합니까?
정답 보기
환각
정답
정답 전체 보기
객관식: 1-B, 2-C, 3-A, 4-D, 5-B, 6-C, 7-A
단답형: 1. 임베딩. 2. 잔차 연결. 3. 환각.