17장. Project 02. LLM 추론 API 서빙
확인문제와 해답
객관식
Q1FastAPI 에서 서버가 켜질 때 모델을 한 번 올리고 꺼질 때 내리는 곳은 무엇일까요?
Q2처리 중인 요청이 정한 수만큼 차서 새 요청을 받지 않을 때, 이 장의 요약 API 가 돌려주는 것은 무엇일까요?
Q3모델이 정한 시간 안에 답하지 않았을 때 쓰는 상태 코드는 무엇일까요?
Q4"3문장으로 요약하세요"라고 시켰는데 LLM 이 5문장을 썼습니다. 이 장의 요약 API 가 하는 일은 무엇일까요?
Q5두 단계 분류에서 확신도의 기준값을 올리면 어떻게 될까요?
Q64GB GPU 에서 GPU 모델을 쓰는 API 를 uvicorn --workers 4 로 띄우면 생길 일로 알맞은 것은 무엇일까요?
Q7compose 에서 두 API 가 모델 내려받기가 끝난 뒤에 뜨게 하는 설정은 무엇일까요?
단답형
- 503 응답에 붙여, 몇 초 뒤에 다시 보내면 되는지 알려 주는 머리글은 무엇입니까?
정답 보기
Retry-After - 분류기가 고른 분류에 스스로 매긴 확률, 곧
predict_proba의 가장 큰 값을 이 장에서 무엇이라고 불렀습니까?정답 보기
확신도 - 여러 사람이 한꺼번에 부르는 상황을 흉내 내어 처리량과 응답 시간을 재는 시험은 무엇입니까?
정답 보기
부하 시험
정답
정답 전체 보기
객관식: 1-B, 2-C, 3-A, 4-D, 5-B, 6-A, 7-C
단답형: 1. Retry-After. 2. 확신도. 3. 부하 시험.