LLM 엔지니어링17장 · Project 02. LLM 추론 API 서빙1 / 14← 이전목차다음 →MetaContents

17장. Project 02. LLM 추론 API 서빙

먼저 큰 그림부터

집에서 끓이던 김치찌개를 동네 식당의 메뉴로 낸다고 해 봅시다. 먼저 메뉴판에 무엇을 얼마만큼 파는지 적습니다. 문을 열기 전에 육수를 미리 끓여 두고, 손님이 몰리면 "조금 뒤에 다시 와 주세요"라고 말합니다. 장사가 잘되면 같은 설명서로 다른 동네에도 가게를 차립니다.

메뉴판, 불 켜 두기, 줄 세우기, 가게 차리기의 네 걸음을 응답 약속, 모델 한 번 올리기, 붐빌 때 막기, 배포 묶음에 견준 흐름도

이 장은 13장부터 16장까지 배운 것으로 "내 코드 안에서만 돌던 모델"을 다른 사람이 부를 수 있는 추론 API 로 바꾸는 프로젝트 장입니다. 프로젝트는 셋입니다. 사내 문서를 요약하는 API, 고객 문의를 나누는 API, 그리고 두 API 를 Ollama 와 함께 한 묶음으로 배포하는 일입니다. 새 라이브러리는 없습니다. 대신 서비스가 지켜야 할 것을 다룹니다. 모델은 켤 때 한 번만 올리고, 입력과 출력의 약속을 서버가 지키고, 붐비거나 늦으면 정해진 오류 코드로 답합니다.

데이터는 모두 연습용으로 만든 가상 데이터입니다. 12장의 가상 쇼핑몰 "솔빛생활"의 사내 문서와 고객 문의이고, 부서, 날짜, 숫자, 택배사 이름도 지어낸 것입니다. 실제 데이터를 구하는 길은 프로젝트마다 따로 안내합니다.

← 이전16장 · 확인문제와 해답다음 절 →17장 · 용어 짚고 가기