pro Model HubDocs

Integrationen

pro Model Hub in Frameworks und Tools nutzen, die einen OpenAI-kompatiblen Endpunkt unterstützen.

Überall, wo du einen „OpenAI-kompatiblen“ Anbieter eintragen kannst, funktioniert der pro Model Hub. Du brauchst immer dieselben drei Angaben:

EinstellungWert
Basis-URL (Base URL, API Base, Endpoint)https://api.promodelhub.de/v1
API-Keydein API-Key
Modelleine API-ID aus der Modellübersicht, z. B. gemma-4-26b-a4b

Für Werkzeuge, die mehrere Anbieter verwalten, lohnt sich ein eigener Key pro Werkzeug mit Credit-Limit.

OpenAI-SDKs

Python und Node.js: siehe Schnellstart. Bei anderen Sprachen (Go, Java, .NET, PHP …) setzt du im OpenAI-Client die Basis-URL und den Key, der Rest bleibt gleich.

LangChain

import os
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

llm = ChatOpenAI(
    model="gemma-4-31b",
    base_url="https://api.promodelhub.de/v1",
    api_key=os.environ["PRO_MODEL_HUB_API_KEY"],
)
print(llm.invoke("Was ist RAG? Ein Satz.").content)

embeddings = OpenAIEmbeddings(
    model="qwen3-vl-embedding-8b",
    base_url="https://api.promodelhub.de/v1",
    api_key=os.environ["PRO_MODEL_HUB_API_KEY"],
    check_embedding_ctx_length=False,  # sonst schickt LangChain Token-IDs statt Text
)

LlamaIndex

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="gemma-4-26b-a4b",
    api_base="https://api.promodelhub.de/v1",
    api_key=os.environ["PRO_MODEL_HUB_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=262144,
)

Das Paket heißt llama-index-llms-openai-like. Das Kontextfenster des Modells steht auf der jeweiligen Modellseite.

Open WebUI

Eine eigene Chat-Oberfläche für dein Team, auch für Fragen an eigene Dokumente. In den Einstellungen unter Administrator → KI → Verbindungen bei OpenAI-API eine Verbindung mit Basis-URL und API-Key hinzufügen. Mit den Standardwerten verbraucht Open WebUI aber deutlich mehr Credits als nötig. Empfohlene Einstellungen, Docker-Compose-Beispiel und Dokumentensuche mit Embeddings und Reranker: Anleitung Open WebUI.

Coding-Assistenten

Für Programmieraufgaben eignen sich die Modelle der Kategorie Coding (siehe Modelle).

Continue (VS Code, JetBrains) – in der config.yaml:

models:
  - name: Qwen3.6 35B-A3B (pro Model Hub)
    provider: openai
    model: qwen3.6-35b-a3b
    apiBase: https://api.promodelhub.de/v1
    apiKey: <dein API-Key>
    roles: [chat, edit, apply]

Cline (VS Code) – in den Einstellungen als API-Provider OpenAI Compatible wählen, Basis-URL, API-Key und Modell-ID eintragen.

Coding-Agenten schicken viel Kontext (Dateien, Tool-Definitionen) und viele Requests hintereinander. Behalte den Credit-Verbrauch und die Limits deines Pakets im Blick, vor allem die parallelen Requests.

n8n und andere Automatisierungs-Tools

In n8n die Zugangsdaten vom Typ OpenAI anlegen und die Basis-URL auf https://api.promodelhub.de/v1 ändern. Danach funktionieren die OpenAI-Knoten und der „OpenAI Chat Model“-Knoten für AI-Agenten mit den Modellen des pro Model Hub. In anderen Tools (Make, Zapier, Flowise …) funktioniert es genauso, sofern sie eine eigene Basis-URL erlauben.

Auf dieser Seite