pro Model HubDocs
API-Referenz

Rerank

POST /v1/rerank – Dokumente nach ihrer Relevanz für eine Suchanfrage sortieren.

POST https://api.promodelhub.de/v1/rerank

Ein Reranker bewertet, wie gut jedes Dokument zu einer Suchanfrage passt, und liefert die Dokumente nach Relevanz sortiert. In einem RAG-System holst du zuerst mit Embeddings die 20 bis 50 ähnlichsten Abschnitte und sortierst sie dann mit dem Reranker neu. Das bringt die richtige Antwort deutlich öfter auf Platz 1. Die API folgt dem Format von Cohere und Jina, das OpenAI-SDK kennt den Endpunkt nicht.

Beispiel

import os
import httpx

response = httpx.post(
    "https://api.promodelhub.de/v1/rerank",
    headers={"Authorization": f"Bearer {os.environ['PRO_MODEL_HUB_API_KEY']}"},
    json={
        "model": "qwen3-vl-reranker-2b",
        "query": "Wie kündige ich mein Paket?",
        "documents": [
            "Die Rechnung ist innerhalb von 14 Tagen zahlbar.",
            "Credit-Pakete lassen sich im Portal unter Abrechnung zum Monatsende kündigen.",
            "Ein Reverse Proxy leitet Anfragen weiter.",
        ],
        "top_n": 2,
    },
    timeout=60,
)
for hit in response.json()["results"]:
    print(hit["index"], round(hit["relevance_score"], 3))

Parameter

ParameterTypBeschreibung
modelstring, PflichtAPI-ID des Rerankers, siehe Modelle
querystring, Pflichtdie Suchanfrage
documentsarray, Pflichtdie zu bewertenden Texte (Strings)
top_nintegernur die besten n Ergebnisse zurückgeben

Jedes Paar aus Suchanfrage und Dokument darf höchstens 8.192 Token haben.

Antwort

{
  "id": "rerank-…",
  "results": [
    { "index": 1, "relevance_score": 0.97, "document": { "text": "Credit-Pakete lassen sich …" } },
    { "index": 0, "relevance_score": 0.02, "document": { "text": "Die Rechnung ist …" } }
  ],
  "meta": { "billed_units": { "total_tokens": 230 } }
}

index verweist auf die Position in documents. Die verbrauchten Token stehen in meta.billed_units.total_tokens, ein usage-Feld gibt es hier nicht.

Abrechnung

Berechnet werden die Eingabe-Token × Credit-Faktor des Rerankers. Das Modell bewertet jedes Dokument zusammen mit der Suchanfrage und einer festen Anweisung (etwa 65 Token). Deshalb zählen pro Dokument die Suchanfrage und diese Anweisung mit: Dokumente × (Suchanfrage + 65) + alle Dokumente. Viele sehr kurze Dokumente kosten im Verhältnis mehr als wenige längere.

Auf dieser Seite