8장. Project 01. 내 데이터로 답하는 LLM 서비스
세 프로젝트 한눈에
같은 요리사라도 한식집, 분식집, 뷔페에서는 일하는 법이 다릅니다. 같은 RAG 도 데이터의 생김새에 따라 손볼 곳이 다릅니다. 세 프로젝트는 각각 다른 어려움 하나씩을 담았습니다.
왼쪽 카드는 규약과 공지가 섞이고 대화가 이어지는 챗봇, 가운데는 표와 오류 코드가 섞인 설명서, 오른쪽은 미리 준비한 답이 있지만 없는 질문은 사람에게 넘겨야 하는 FAQ 도우미입니다. 셋 가운데 하나를 골라도 되고, 팀이 나눠 맡아도 됩니다.
프로젝트와 새로 해 볼 것
| 프로젝트 | 데이터 | 새로 해 볼 것 | 주로 쓰는 장 |
|---|---|---|---|
| 1. 아파트 생활 안내 챗봇 | 관리규약 27조, 공지 8건, 대화 시험 12개 | 최신 공지 우선, 후속 질문 다루기 | 6장, 7장 |
| 2. 가전제품 설명서 Q&A | 세탁기 설명서 16절(표 2개), 질문 25개 | 표를 조각으로 바꾸기, 출처 표기 다듬기 | 7장 |
| 3. 공공 민원 FAQ 도우미 | 구청 FAQ 40개, 주민의 말 32개 | FAQ 매칭과 기준값, 넘기기 | 1장, 7장 |
하는 순서
세 프로젝트 모두 같은 순서로 풉니다.
- 데이터를 읽고 조각(또는 FAQ)으로 나눕니다.
- 검색을 만들고 질문 묶음으로 잽니다.
- Ollama 의 모델로 답을 만들고 채점합니다.
- 하나를 바꿔 다시 재고, 무엇이 나아졌는지 적습니다.
주의할 점
- 예시 풀이는 이 PC(GTX 1650, 4GB)에서 Ollama 의
qwen2.5:3b로 돌렸습니다. 임베딩 모델은 CPU 에 두어 GPU 를 Ollama 에 비워 둡니다(7장). - Ollama 의 답은 같은 설정이어도 실행마다 조금 달라질 수 있습니다. 숫자 한두 개 차이로 결론을 내지 않습니다.