16장. vLLM 서빙 벤치마킹과 RAG 최적화
확인문제와 해답
객관식
Q1요청을 보낸 뒤 첫 토큰을 받기까지의 시간을 가리키는 지표는 무엇일까요?
Q2입력 프롬프트 전체를 한꺼번에 계산해 KV 캐시를 채우는 단계는 무엇일까요?
Q3vLLM 의 PagedAttention 에 대한 설명으로 알맞은 것은 무엇일까요?
Q4끝난 요청의 자리에 기다리던 요청을 바로 넣어 묶음을 계속 채우는 방식은 무엇일까요?
Q5서버 지연을 보고할 때 평균과 함께 p95 를 적는 까닭으로 알맞은 것은 무엇일까요?
Q6RAG 의 응답 시간을 줄이는 방법으로 알맞지 않은 것은 무엇일까요?
Q7벤치마크에서 몸풀기 요청을 먼저 보내는 까닭은 무엇일까요?
단답형
- 서버가 1초에 만들어 내는 토큰 수나 처리하는 요청 수를 무엇이라고 합니까?
정답 보기
처리량 - 앞부분이 같은 프롬프트의 KV 캐시를 다시 써서 프리필을 건너뛰는 캐시를 무엇이라고 합니까?
정답 보기
프리픽스 캐시 - 전체 속도를 붙잡는 가장 느린 단계를 무엇이라고 합니까?
정답 보기
병목
정답
정답 전체 보기
객관식: 1-C, 2-A, 3-D, 4-B, 5-A, 6-D, 7-B
단답형: 1. 처리량. 2. 프리픽스 캐시. 3. 병목.