8장. Project 01. 내 데이터로 답하는 LLM 서비스

정리

• LLM 서비스는 질문 묶음을 먼저 만들고, 가장 단순한 기준선을 잰 뒤, 한 번에 하나씩 바꿔 가며 다시 잽니다. 바꾼 것과 성적을 표로 남깁니다.
• 서비스는 문서 정리, 검색, 프롬프트, LLM, 답과 출처의 부품으로 나눠, 한 부품만 바꿔 끼우며 고칩니다.
• 자료가 여러 종류면 꼬리표와 날짜를 붙이고, 프롬프트에 어느 자료를 따를지(최신 공지 우선) 정해 둡니다.
• 후속 질문은 검색에 앞의 대화를 함께 넣어야 찾습니다. 작은 모델의 질문 바꿔 쓰기는 뜻을 바꾸기도 하니 결과를 읽어 봅니다.
• 표는 행마다 머리 칸 이름을 붙인 문장으로 바꾸고, 답에 적을 출처 이름은 조각 안에 그대로 넣어 두면 모델이 베껴 씁니다.
• FAQ 도우미는 점수의 기준값으로 답할지 넘길지 정합니다. 기준값을 올리면 잘못 답함이 줄고 넘김이 늡니다.
• 평가는 검색, 정답, 출처, 모를 때, 속도를 함께 봅니다. 발표에서는 안 되는 질문도 보여 줍니다.