16장. vLLM 서빙 벤치마킹과 RAG 최적화

정리

• LLM 생성은 입력을 한꺼번에 읽는 프리필과 토큰을 하나씩 쓰는 디코드로 나뉩니다. 입력이 길면 첫 토큰(TTFT)이, 출력이 길면 전체 지연이 늘어납니다.
• 서버의 성능은 TTFT, TPOT, 지연의 p50·p95, 처리량으로 잽니다. 몸풀기를 하고, 출력 길이를 맞추고, 동시성을 늘려 가며 잽니다.
• 요청을 하나씩 처리하면 동시 사용자가 늘수록 처리량은 그대로이고 지연만 늘어납니다. 묶어서 생성하면 처리량이 크게 늘어납니다.
• vLLM 은 KV 캐시를 쪽으로 나눠 잡는 PagedAttention 과 끝난 자리를 바로 채우는 연속 배치로 처리량을 높입니다. Linux 나 WSL2 에서 띄웁니다.
• RAG 는 단계마다 시간을 재어 병목부터 고칩니다. 색인은 한 번만 만들고, 재정렬 후보와 조각 수, 답 길이를 정답 수를 지키는 만큼 줄입니다.
• 같은 질문이 되풀이되면 다듬은 질문을 열쇠로 한 답 캐시가, 앞부분이 같은 프롬프트에는 프리픽스 캐시가 시간을 줄입니다.