LLM 엔지니어링8장 · Project 01. 내 데이터로 답하는 LLM 서비스4 / 11← 이전목차다음 →MetaContents

8장. Project 01. 내 데이터로 답하는 LLM 서비스

세 프로젝트 한눈에

같은 요리사라도 한식집, 분식집, 뷔페에서는 일하는 법이 다릅니다. 같은 RAG 도 데이터의 생김새에 따라 손볼 곳이 다릅니다. 세 프로젝트는 각각 다른 어려움 하나씩을 담았습니다.

아파트 생활 안내 챗봇, 가전제품 설명서 Q&A, 공공 민원 FAQ 도우미의 세 프로젝트를 카드로 놓은 그림

왼쪽 카드는 규약과 공지가 섞이고 대화가 이어지는 챗봇, 가운데는 표와 오류 코드가 섞인 설명서, 오른쪽은 미리 준비한 답이 있지만 없는 질문은 사람에게 넘겨야 하는 FAQ 도우미입니다. 셋 가운데 하나를 골라도 되고, 팀이 나눠 맡아도 됩니다.

프로젝트와 새로 해 볼 것

프로젝트데이터새로 해 볼 것주로 쓰는 장
1. 아파트 생활 안내 챗봇관리규약 27조, 공지 8건, 대화 시험 12개최신 공지 우선, 후속 질문 다루기6장, 7장
2. 가전제품 설명서 Q&A세탁기 설명서 16절(표 2개), 질문 25개표를 조각으로 바꾸기, 출처 표기 다듬기7장
3. 공공 민원 FAQ 도우미구청 FAQ 40개, 주민의 말 32개FAQ 매칭과 기준값, 넘기기1장, 7장

하는 순서

세 프로젝트 모두 같은 순서로 풉니다.

  1. 데이터를 읽고 조각(또는 FAQ)으로 나눕니다.
  2. 검색을 만들고 질문 묶음으로 잽니다.
  3. Ollama 의 모델로 답을 만들고 채점합니다.
  4. 하나를 바꿔 다시 재고, 무엇이 나아졌는지 적습니다.

주의할 점

  • 예시 풀이는 이 PC(GTX 1650, 4GB)에서 Ollama 의 qwen2.5:3b 로 돌렸습니다. 임베딩 모델은 CPU 에 두어 GPU 를 Ollama 에 비워 둡니다(7장).
  • Ollama 의 답은 같은 설정이어도 실행마다 조금 달라질 수 있습니다. 숫자 한두 개 차이로 결론을 내지 않습니다.
← 이전 절8장 · 팀 프로젝트 진행 방법다음 절 →8장 · 서비스의 짜임