LLM 엔지니어링20장 · LLM 평가와 모니터링13 / 22← 이전목차다음 →MetaContents

20장. LLM 평가와 모니터링

실습 지도

요리책 맨 앞의 순서표처럼, 이 장의 실습 여섯 개를 한 장에 모았습니다. 실습마다 필요한 파일(준비물)과 남기는 파일(결과물), 먼저 해야 할 실습을 보여 줍니다. 실습을 시작하기 전에 한 번 훑어보세요. "파일이 없다"는 오류가 나면 여기로 돌아와 먼저 할 실습을 찾습니다.

20장 실습 여섯 개의 준비물과 결과물, 앞 실습의 결과물을 이어받는 관계를 화살표로 이은 실습 지도

그림의 상자 하나가 실습 하나이고, 상자 아래쪽에 준비물(실습에 필요한 파일)과 결과물(실습이 남기는 파일)을 적었습니다. 다홍 화살표(실습 1 → 실습 2, 실습 1 → 실습 3, 실습 1 → 실습 4, 실습 2 → 실습 4)는 앞 실습의 결과물(out_ 파일)을 뒤 실습이 준비물로 쓴다는 뜻입니다. 화살표가 들어오는 실습은 화살표가 나가는 실습을 먼저 해야 합니다. 화살표가 없는 실습은 혼자 돌아갑니다.

실습준비물(쓰는 파일)결과물(남는 파일)먼저 할 실습
실습 1. 답 만들고 규칙으로 채점하기library/, library_eval.jsonlout_libbot.py, out_lib_answers.csv없음
실습 2. 뜻으로 채점하기out_lib_answers.csv, library_eval.jsonlout_lib_scores.csv실습 1
실습 3. LLM 채점자 만들고 사람과 맞춰 보기out_libbot.py, judge_cases.jsonl없음실습 1
실습 4. 평가 방법 견주고 RAG 나눠 재기out_libbot.py, out_lib_answers.csv, out_lib_scores.csv, library_eval.jsonl없음실습 1, 실습 2
실습 5. 드리프트 감지하기chat_log.csv, library/없음없음
실습 6. 운영 지표와 알림chat_log.csv없음없음
← 이전 절20장 · 대시보드와 알림다음 절 →20장 · 실습 1 — 답 만들고 규칙으로 채점하기