20장. LLM 평가와 모니터링

용어 짚고 가기

평가 묶음(evaluation set)판이 바뀔 때마다 같은 방법으로 재기 위해 정해 둔 질문과 참조 답의 모음입니다. evaluation 은 "값을 매김, 평가", set 는 "한 벌, 묶음"이라는 뜻입니다.
참조 답(reference answer)평가 묶음의 질문마다 사람이 적어 둔 바른 답입니다. reference 는 "참고, 기준으로 삼는 것"이라는 뜻입니다.
규칙 채점(rule-based scoring)열쇠 낱말이 들었는지, 형식이 맞는지처럼 코드로 정한 규칙으로 답을 채점하는 일입니다. rule-based 는 "규칙에 바탕을 둔"이라는 뜻입니다.
의미 유사도(semantic similarity)두 문장의 뜻이 얼마나 가까운지를 임베딩의 코사인 유사도로 잰 값입니다. semantic 은 "뜻에 관한", similarity 는 "닮은 정도"라는 뜻입니다.
LLM 채점자(LLM-as-a-judge)채점 기준을 주고 다른 LLM 의 답을 채점하게 한 LLM 입니다. "심판(judge)으로서의 LLM"이라는 뜻이고, LLM 은 Large Language Model(대규모 언어 모델)의 머리글자입니다.
채점 기준표(rubric)무엇을 맞음과 틀림으로 볼지 적은 기준입니다. rubric 은 라틴어로 "붉은 흙"에서 온 말로, 옛 책에서 지시문을 붉은 글씨로 쓴 데서 "지침, 기준"이라는 뜻이 생겼습니다.
일치율(agreement rate)채점자의 판정이 사람의 판정과 같은 비율입니다. agreement 는 "의견이 같음, 일치"라는 뜻입니다.
환각(hallucination)자료에 없거나 사실과 다른 내용을 그럴듯하게 지어내는 일입니다. hallucination 은 "없는 것을 보는 헛것, 환각"이라는 뜻입니다.
근거 충실도(faithfulness)답의 내용이 검색한 자료로 뒷받침되는 정도입니다. faithful 은 "충실한, 원본에 어긋나지 않는"이라는 뜻입니다.
드리프트(drift)운영 중에 들어오는 데이터나 그 뜻이 학습·평가 때와 달라지는 일입니다. drift 는 "물결이나 바람에 떠밀려 감"이라는 뜻입니다.
데이터 드리프트(data drift)입력(질문)의 분포가 바뀌는 드리프트입니다. 데이터가 떠밀려 달라진다는 뜻입니다.
개념 드리프트(concept drift)같은 질문에 대한 바른 답이 바뀌는 드리프트입니다. concept 는 "개념"이라는 뜻으로, 맞고 틀림의 기준 자체가 떠밀려 간다는 말입니다.
PSI(Population Stability Index)두 기간의 범주 비율이 얼마나 달라졌는지 재는 값입니다. Population(모집단), Stability(안정성), Index(지수)의 머리글자로, 모집단 안정성 지수라는 뜻입니다.
KS 검정(Kolmogorov-Smirnov test)두 숫자 묶음의 분포가 같은지 보는 통계 검정입니다. KS 는 이 검정을 만든 두 수학자 콜모고로프(Kolmogorov)와 스미르노프(Smirnov)의 머리글자입니다.
기준 기간(baseline period)견줄 때 "평소"로 삼는 기간입니다. baseline 은 "기준선"이라는 뜻입니다.
p95(95th percentile)값을 작은 것부터 늘어놓았을 때 95% 자리의 값입니다. p 는 percentile(백분위수)의 머리글자이고, percentile 은 per cent(백에 대하여)에서 온 말입니다.
오류율(error rate)전체 요청 가운데 오류로 끝난 요청의 비율입니다. error 는 "잘못", rate 는 "비율"이라는 뜻입니다.
문턱(threshold)알림을 울릴 경계값입니다. threshold 는 "문지방, 문턱"이라는 뜻입니다.
알림 피로(alert fatigue)알림이 너무 잦아 사람이 무시하게 되는 일입니다. alert 는 "경보", fatigue 는 "피로"라는 뜻입니다.
대시보드(dashboard)여러 지표를 한 화면에 모아 보여 주는 화면입니다. dashboard 는 마차 앞에서 튀는 진흙을 막던 판을 가리키던 말로, 뒤에 자동차의 계기판을 뜻하게 되었습니다.