20장. LLM 평가와 모니터링

정리

• LLM 의 답은 맞는 꼴이 여럿이고 그럴듯한 오답이 있어, 정해 둔 평가 묶음으로 판마다 같은 방법으로 잽니다. 답이 없는 질문도 넣습니다.
• 규칙 채점은 빠르고 늘 같지만 열쇠를 어떻게 잡느냐에 따라 판정이 뒤집힙니다. 형식(영문 섞임, 길이) 검사에 특히 좋습니다.
• 의미 유사도는 같은 뜻의 다른 표현을 잡지만, 숫자 하나가 다른 문장도 가깝다고 봅니다.
• LLM 채점자는 참조 답과 기준표를 주고, 핵심 사실을 먼저 적게 하면 나아집니다. 사람과 맞춰 본 일치율을 함께 적습니다.
• RAG 의 틀린 답은 검색 실패와 생성 실패로 나눠 고칠 곳을 정합니다.
• 드리프트는 기준 기간과 견줘 PSI, KS 검정, 처음 보는 질문 비율로 재고, 모름·싫어요 같은 결과 지표와 함께 봅니다.
• 운영 지표는 지연 p95, 오류율, 품질, 비용을 함께 보고, 문턱을 넘은 이어진 날을 하나의 알림으로 묶습니다.