LLM 엔지니어링20장 · LLM 평가와 모니터링22 / 22← 이전목차다음 →MetaContents

20장. LLM 평가와 모니터링

확인문제와 해답

객관식

Q1평가 묶음에 자료에 답이 없는 '모름' 질문을 넣는 까닭으로 알맞은 것은 무엇일까요?

Q2의미 유사도(임베딩 코사인)로 채점할 때의 약점으로 알맞은 것은 무엇일까요?

Q3참조 답 없이 LLM 채점자에게 답이 알맞은지만 물을 때 생기기 쉬운 일은 무엇일까요?

Q4RAG 의 답이 틀렸는데 근거 글이 검색한 조각 안에 있었다면, 먼저 고칠 곳은 어디일까요?

Q5같은 질문에 대한 바른 답이 규정 변경으로 바뀌는 드리프트는 무엇일까요?

Q6두 기간의 범주 비율(예: 질문 주제)이 얼마나 달라졌는지 재는 값은 무엇일까요?

Q7문턱을 넘은 날마다 알림을 보내는 대신 이어진 날을 하나의 사건으로 묶는 까닭은 무엇일까요?

단답형

  1. 채점자의 판정이 사람의 판정과 같은 비율을 무엇이라고 합니까?
    정답 보기
    일치율
  2. 자료에 없거나 사실과 다른 내용을 그럴듯하게 지어내는 일을 무엇이라고 합니까?
    정답 보기
    환각
  3. 드리프트를 잴 때 "평소"로 삼아 견주는 기간을 무엇이라고 합니까?
    정답 보기
    기준 기간

정답

정답 전체 보기

객관식: 1-B, 2-D, 3-A, 4-C, 5-B, 6-A, 7-D

단답형: 1. 일치율. 2. 환각. 3. 기준 기간.

← 이전 절20장 · 정리다음 →21장 · 먼저 큰 그림부터