pro Model HubDocs
Grundlagen

Wartezeiten und Retries

Warum die erste Antwort manchmal etwas länger dauert und wie du Fehler abfängst.

Kapazität und Ausfälle

Jedes Modell hat feste Rechenkapazität auf unseren GPU-Servern. Modelle werden nicht gewechselt, es gibt keine Wartezeit beim ersten Request.

  • Gemma 4 26B-A4B, Qwen3.6 35B-A3B und Qwen3-VL-Embedding 8B laufen auf zwei Servern. Fällt einer aus, gehen deine Requests automatisch an den anderen, nur die Kapazität sinkt.
  • Gemma 4 31B und Qwen3.8 27B laufen auf einem Server ohne zweite Instanz. Fällt er aus, antwortet die API für dieses Modell mit 5xx, bis das Modell auf ein Ausweichsystem umgezogen ist (etwa 10 Minuten). Für unterbrechungsfreie Anwendungen fang den Fehler ab und weiche auf ein anderes Modell aus, z. B. Gemma 4 26B-A4B.
  • Sehr lange Prompts verarbeitet ein Modell in Abschnitten, damit andere Requests nicht warten müssen. Bis zum ersten Token eines sehr langen Requests vergeht deshalb spürbar mehr Zeit als bei kurzen.

Wann du einen Retry brauchst

Kann ein Modell vorübergehend nicht antworten (z. B. bei Wartung oder dem Ausfall eines Servers), antwortet die API mit 503. Solche Fehler sind vorübergehend: Wiederhole den Request nach einer kurzen Pause mit wachsendem Abstand (exponentielles Backoff).

StatusWiederholen?
429 mit rate_limit_exceededja, nach der Zeit im Header retry-after bzw. wenn laufende Requests fertig sind
429 mit insufficient_quotanein – das Paket ist verbraucht (Fehler)
500, 502, 503, 504ja, mit Backoff (z. B. 1, 2, 4, 8 Sekunden)
400, 401, 403, 404, 413, 422nein – der Request muss geändert werden

Die offiziellen OpenAI-SDKs wiederholen 429 und 5xx bereits automatisch (standardmäßig zweimal). Ausgenommen ist 429 mit insufficient_quota: Die API schickt dabei den Header x-should-retry: false, die SDKs werfen dann sofort RateLimitError. Frag den Fehlercode ab, statt selbst zu wiederholen (Fehler). Eigene Retry-Logik ohne SDK sollte insufficient_quota genauso auslassen. Für Hintergrundjobs lohnt es sich, die Zahl der Retries zu erhöhen:

client = OpenAI(
    base_url="https://api.promodelhub.de/v1",
    api_key=os.environ["PRO_MODEL_HUB_API_KEY"],
    max_retries=5,
    timeout=600,
)

Mehr zu Fehlercodes und dem Fehlerformat unter Fehler.

Auf dieser Seite