20장. LLM 평가와 모니터링
확인문제와 해답
객관식
Q1평가 묶음에 자료에 답이 없는 '모름' 질문을 넣는 까닭으로 알맞은 것은 무엇일까요?
Q2의미 유사도(임베딩 코사인)로 채점할 때의 약점으로 알맞은 것은 무엇일까요?
Q3참조 답 없이 LLM 채점자에게 답이 알맞은지만 물을 때 생기기 쉬운 일은 무엇일까요?
Q4RAG 의 답이 틀렸는데 근거 글이 검색한 조각 안에 있었다면, 먼저 고칠 곳은 어디일까요?
Q5같은 질문에 대한 바른 답이 규정 변경으로 바뀌는 드리프트는 무엇일까요?
Q6두 기간의 범주 비율(예: 질문 주제)이 얼마나 달라졌는지 재는 값은 무엇일까요?
Q7문턱을 넘은 날마다 알림을 보내는 대신 이어진 날을 하나의 사건으로 묶는 까닭은 무엇일까요?
단답형
- 채점자의 판정이 사람의 판정과 같은 비율을 무엇이라고 합니까?
정답 보기
일치율 - 자료에 없거나 사실과 다른 내용을 그럴듯하게 지어내는 일을 무엇이라고 합니까?
정답 보기
환각 - 드리프트를 잴 때 "평소"로 삼아 견주는 기간을 무엇이라고 합니까?
정답 보기
기준 기간
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A, 4-C, 5-B, 6-A, 7-D
단답형: 1. 일치율. 2. 환각. 3. 기준 기간.