먼저 큰 그림부터

식당이 문을 연 뒤에도 할 일은 계속됩니다. 정해 둔 메뉴로 시식을 해서 맛이 그대로인지 봅니다. 손님층이 바뀌는지 살핍니다. 주방 계기판으로 대기 시간과 실수를 지켜봅니다. 문제가 생기면 알림판에 불이 켜집니다. LLM 서비스도 내놓은 뒤부터가 시작입니다.

이 장에서는 세 가지를 챙겨 갑니다.

• 답 평가: 정해 둔 질문 묶음으로 LLM 의 답을 잽니다. 규칙, 뜻(임베딩), LLM 채점자의 세 가지로 채점하고, 각각이 무엇을 놓치는지 봅니다.
• 드리프트: 들어오는 질문이 바뀌는 것을 숫자로 알아챕니다.
• 모니터링: 운영 기록에서 지연, 오류, 품질 지표를 뽑아 알림 규칙을 걸고 대시보드로 봅니다.

19장의 하늘숲 도서관 챗봇을 이어서 씁니다. 답은 이 PC 의 Ollama qwen2.5:3b 로 실제로 만들고 채점했습니다. 운영 기록 8주치는 지어낸 연습용 데이터입니다.