LLM 엔지니어링17장 · Project 02. LLM 추론 API 서빙14 / 14← 이전목차다음 →MetaContents

17장. Project 02. LLM 추론 API 서빙

확인문제와 해답

객관식

Q1FastAPI 에서 서버가 켜질 때 모델을 한 번 올리고 꺼질 때 내리는 곳은 무엇일까요?

Q2처리 중인 요청이 정한 수만큼 차서 새 요청을 받지 않을 때, 이 장의 요약 API 가 돌려주는 것은 무엇일까요?

Q3모델이 정한 시간 안에 답하지 않았을 때 쓰는 상태 코드는 무엇일까요?

Q4"3문장으로 요약하세요"라고 시켰는데 LLM 이 5문장을 썼습니다. 이 장의 요약 API 가 하는 일은 무엇일까요?

Q5두 단계 분류에서 확신도의 기준값을 올리면 어떻게 될까요?

Q64GB GPU 에서 GPU 모델을 쓰는 API 를 uvicorn --workers 4 로 띄우면 생길 일로 알맞은 것은 무엇일까요?

Q7compose 에서 두 API 가 모델 내려받기가 끝난 뒤에 뜨게 하는 설정은 무엇일까요?

단답형

  1. 503 응답에 붙여, 몇 초 뒤에 다시 보내면 되는지 알려 주는 머리글은 무엇입니까?
    정답 보기
    Retry-After
  2. 분류기가 고른 분류에 스스로 매긴 확률, 곧 predict_proba 의 가장 큰 값을 이 장에서 무엇이라고 불렀습니까?
    정답 보기
    확신도
  3. 여러 사람이 한꺼번에 부르는 상황을 흉내 내어 처리량과 응답 시간을 재는 시험은 무엇입니까?
    정답 보기
    부하 시험

정답

정답 전체 보기

객관식: 1-B, 2-C, 3-A, 4-D, 5-B, 6-A, 7-C

단답형: 1. Retry-After. 2. 확신도. 3. 부하 시험.

← 이전 절17장 · 정리다음 →18장 · 먼저 큰 그림부터