17장. Project 02. LLM 추론 API 서빙

정리

• 서비스로 바꿀 때는 설정을 환경 변수로 빼고, 받을 입력과 돌려줄 응답의 꼴을 약속합니다.
• 모델은 lifespan 에서 서버가 켜질 때 한 번 올리고 데웁니다. /health 는 다 올린 뒤에 "준비"라고 답합니다.
• 입력 범위는 Pydantic 이(422), 출력의 꼴은 서버가 지킵니다. LLM 이 문장 수를 어기면 서버가 자릅니다.
• 붐비면 503 과 Retry-After, 늦으면 504 로 답하고, 같은 글은 캐시로 답합니다.
• 빠른 분류기와 LLM 을 확신도의 기준값으로 나눠 쓰면 정확도와 속도를 함께 챙길 수 있습니다.
• compose 에 Ollama(GPU, 모델 볼륨)와 모델 받기를 넣고, 뜨는 차례를 depends_on 의 조건으로 정합니다.