LLM 엔지니어링3장 · Attention 과 Transformer, GPT 직접 구현14 / 23← 이전목차다음 →MetaContents

3장. Attention 과 Transformer, GPT 직접 구현

실습 지도

요리책 맨 앞의 순서표처럼, 이 장의 실습 여섯 개를 한 장에 모았습니다. 실습마다 필요한 파일(준비물)과 남기는 파일(결과물), 먼저 해야 할 실습을 보여 줍니다. 실습을 시작하기 전에 한 번 훑어보세요. "파일이 없다"는 오류가 나면 여기로 돌아와 먼저 할 실습을 찾습니다.

3장 실습 여섯 개의 준비물과 결과물, 앞 실습의 결과물을 이어받는 관계를 화살표로 이은 실습 지도

그림의 상자 하나가 실습 하나이고, 상자 아래쪽에 준비물(실습에 필요한 파일)과 결과물(실습이 남기는 파일)을 적었습니다. 이 장의 실습은 서로 파일을 주고받지 않으므로 화살표가 없고, 어느 실습부터 해도 됩니다. 실습마다 준비 코드를 처음부터 다시 적어 두었기 때문입니다.

실습준비물(쓰는 파일)결과물(남는 파일)먼저 할 실습
실습 1. 글자 토크나이저와 임베딩cs_dialogs.txt없음없음
실습 2. 셀프 어텐션 손으로 계산하기없음(코드가 직접 받거나 만든다)없음없음
실습 3. 미니 GPT 만들기cs_dialogs.txt없음없음
실습 4. 미니 GPT 학습하고 글 이어 쓰기cs_dialogs.txtout_minigpt.pt없음
실습 5. 번역 모델 써 보기inquiries.csv없음없음
실습 6. 작은 챗봇 모델 써 보기없음(코드가 직접 받거나 만든다)없음없음
← 이전 절3장 · ML 디자인 패턴다음 절 →3장 · 실습 1 — 글자 토크나이저와 임베딩