18장. Project 03. 내 서버에서 일하는 AI Agent
온프레미스 LLM 시스템 End-to-End
작은 식당 하나를 차리려 해도 홀, 주방, 창고, 계산대, 장부가 모두 있어야 합니다. 맛있는 요리 하나만으로는 장사가 되지 않습니다. 온프레미스 LLM 시스템도 모델 하나가 아니라, 요청을 받는 곳부터 기록을 남기는 곳까지 여러 층이 이어져야 돌아갑니다.
1번의 API 가 요청을 받고 누가 보냈는지 확인합니다. 2번의 에이전트가 LLM 에 물어 어떤 도구를 부를지 정합니다. 3번의 도구가 규정을 찾고 업무 시스템을 읽고 씁니다. 4번의 LLM 서빙이 이 PC 의 GPU 에서 모델을 돌립니다. 5번에서 무엇을 했는지 기록합니다. 여기서 홀이 API, 주방장이 에이전트, 창고가 도구, 화구가 LLM 서빙, 장부가 실행 기록입니다.
층마다 쓰는 것
| 층 | 하는 일 | 배운 장 | 이 장의 선택 |
|---|---|---|---|
| API | 요청 받기, 사용자 확인, 확인 단계 | 13장, 17장 | FastAPI, API 키 → 고객 |
| 에이전트 | 도구 고르기, 결과 읽기, 걸음 한도 | 9장, 10장 | Ollama 의 OpenAI 호환 tools, 5걸음 |
| 도구 | 규정·정책 검색, 업무 시스템 읽기·쓰기 | 7장, 16장 | e5 임베딩(CPU), 조항 임베딩은 한 번만 |
| LLM 서빙 | 모델 올리기, 생성 | 15장, 16장 | qwen2.5:3b(Q4), 견줄 때 qwen2.5:1.5b |
| 기록 | 실행 기록, 채점 | 9장, 17장 | 요청마다 걸음, 도구, 인자, 결과, 밀리초 |
주의할 점
- 층마다 따로 시험할 수 있게 만듭니다. 도구는 LLM 없이 직접 불러 시험하고, 에이전트는 가짜 도구로도 돌려 볼 수 있어야 합니다.
- 모든 층이 회사 안에서 돕니다. 임베딩 모델과 LLM 을 미리 받아 두면 인터넷 없이 돌아갑니다(11장).