느린 모델을 지키는 법

import threading
import time
from concurrent.futures import ThreadPoolExecutor

slots = threading.BoundedSemaphore(2)      # 화구 두 개: 한꺼번에 둘까지만 처리한다


def handle(order):
    if not slots.acquire(blocking=False):  # 빈 화구가 없으면 기다리지 않고 바로 돌려보낸다
        return 503
    try:
        time.sleep(0.5)                    # 모델이 답을 만드는 시간을 흉내 낸다
        return 200
    finally:
        slots.release()                    # 끝나면 화구를 비운다(오류가 나도 비운다)


with ThreadPoolExecutor(max_workers=5) as pool:
    print("다섯이 한꺼번에:", sorted(pool.map(handle, range(5))))
print("다 끝난 뒤:", handle(5))

# 시간 제한: 0.2초만 기다린다
with ThreadPoolExecutor() as pool:
    job = pool.submit(time.sleep, 1)
    try:
        job.result(timeout=0.2)
    except TimeoutError:
        print("0.2초 안에 끝나지 않아 504 로 답한다. 일 자체는 끝까지 돈다:", job.done())

import threading

slots = threading.BoundedSemaphore(2)          # 화구 두 개
print(slots.acquire(blocking=False))           # 첫 손님: 화구를 잡는다
print(slots.acquire(blocking=False))           # 둘째 손님: 화구를 잡는다
print(slots.acquire(blocking=False))           # 셋째 손님: 빈 화구가 없다
slots.release()                                # 한 명이 다 먹고 화구를 비운다
print(slots.acquire(blocking=False))           # 이제 셋째 손님이 잡는다