17장. Project 02. LLM 추론 API 서빙

용어 짚고 가기

추론 API(inference API)학습을 마친 모델에 입력을 보내 결과(요약, 분류, 답)를 받는 API 입니다. 모델을 고치지 않고 쓰기만 합니다. inference 는 "미루어 판단함, 추론"이라는 뜻이고, API 는 Application Programming Interface(응용 프로그램 프로그래밍 인터페이스)의 머리글자입니다.
수명 주기(lifespan)서버가 켜질 때와 꺼질 때 할 일을 적는 곳입니다. FastAPI 에서는 lifespan 이라고 부릅니다. life(생명)와 span(길이, 기간)을 붙인 말로 "수명"이라는 뜻입니다.
데우기(warm-up)서버가 요청을 받기 전에 모델에 한 번 물어 GPU 에 올려 두는 일입니다. warm-up 은 운동 전에 몸을 데우는 "몸풀기"라는 뜻입니다.
준비 상태(readiness)서버가 요청을 받을 준비를 마쳤는지 알리는 값입니다. /health 가 돌려주고, compose 의 상태 검사가 읽습니다. readiness 는 "준비되어 있음"이라는 뜻입니다.
응답 약속(contract)API 가 받을 입력의 범위와 돌려줄 응답의 꼴을 미리 정한 것입니다. contract 는 "계약"이라는 뜻입니다.
동시 처리 제한(concurrency limit)한꺼번에 처리할 요청의 수를 정해 두고, 넘치는 요청은 받지 않는 장치입니다. concurrency 는 "동시에 일어남", limit 는 "한도"라는 뜻입니다.
503 Service Unavailable"지금은 붐벼서 받을 수 없다"는 상태 코드입니다. 잠시 뒤 다시 보내면 됩니다. Service Unavailable 은 "서비스를 쓸 수 없음"이라는 뜻입니다.
Retry-After503 응답에 붙여 "몇 초 뒤에 다시 보내라"고 알려 주는 머리글입니다. retry 는 "다시 시도하다", after 는 "~ 뒤에"라는 뜻입니다.
시간 제한(timeout)모델의 답을 기다릴 최대 시간입니다. 넘으면 기다리기를 그만두고 오류로 답합니다. time 과 out(다 되다)을 붙인 말로 "정한 시간이 다 됨"이라는 뜻입니다.
504 Gateway Timeout뒤에 있는 서버(여기서는 모델)가 정한 시간 안에 답하지 않았다는 상태 코드입니다. gateway 는 "출입구, 관문"이라는 뜻으로, 요청을 뒤 서버로 넘겨주는 앞단 서버를 가리킵니다.
두 단계 분류(cascade)빠른 분류기가 먼저 나누고, 확신이 낮은 것만 느리지만 정확한 LLM 에 다시 맡기는 방식입니다. cascade 는 "여러 단으로 이어져 떨어지는 폭포"라는 뜻입니다.
확신도(confidence)분류기가 고른 분류에 스스로 매긴 확률입니다. predict_proba 의 가장 큰 값입니다. confidence 는 "자신감, 확신"이라는 뜻입니다.
모델 판(model version)서비스가 쓰는 모델과 설정에 붙인 이름입니다. 응답에 함께 적어, 어떤 판이 답했는지 나중에 알 수 있게 합니다. version 은 "판, 달라진 꼴"이라는 뜻입니다.
부하 시험(load test)여러 사람이 한꺼번에 부르는 상황을 흉내 내어 처리량과 응답 시간을 재는 시험입니다. load 는 "짐, 실린 양"이라는 뜻입니다.