pro Model HubDocs

Open WebUI

Eine eigene Chat-Oberfläche für dein Team mit den Modellen des pro Model Hub, inklusive Fragen an eigene Dokumente.

Open WebUI ist eine Open-Source-Chat-Oberfläche, die du selbst betreibst. Mit dem pro Model Hub als Anbieter bekommt dein Team einen Chat wie ChatGPT, dessen Modelle in Rechenzentren in der EU laufen, und kann Fragen an eigene Dokumente stellen.

Diese Anleitung ist mit Open WebUI 0.13.4 geprüft (November 2026). Menüs und Standardwerte ändern sich zwischen den Versionen von Open WebUI. Wenn du eine andere Version nutzt, können Namen und Wege leicht abweichen.

Eigener API-Key für Open WebUI

Alle Nutzer deiner Open-WebUI-Instanz teilen sich einen API-Key und damit die Limits deines Pakets. Lege für Open WebUI einen eigenen API-Key mit Credit-Limit an. So siehst du den Verbrauch getrennt, und ein Fehler in der Konfiguration verbraucht nicht das ganze Kontingent.

Empfohlene Einstellungen auf einen Blick

Mit den Standardwerten von Open WebUI funktioniert der Chat sofort, verbraucht aber deutlich mehr Credits als nötig, und das Hochladen größerer Dokumente scheitert an den Limits. Diese Einstellungen empfehlen wir:

EinstellungWertWarum
Modell-IDs der Verbindungnur die Chat-Modellesonst erscheinen Embedding-Modell und Reranker in der Modellauswahl
Eingebaute Werkzeugeausspart rund 6.400 Input-Token pro Nachricht
Datei-Kontextannötig, sobald die eingebauten Werkzeuge aus sind, sonst ignoriert das Modell angehängte Dateien
Externes Aufgabenmodellgemma-4-26b-a4bTitel, Tags und Folgefragen mit einem schnellen Modell ohne Reasoning
Embedding-Batch-Größe32ein Request für 32 Abschnitte statt einer pro Abschnitt
Gleichzeitige Embedding-Anfragen2mit dem Standardwert (unbegrenzt) scheitert der Upload größerer Dateien an den parallelen Requests
Rerankingextern, qwen3-vl-reranker-2bbessere Treffer bei Fragen an Dokumente

Du kannst alles beim Start per Docker festlegen (Weg A) oder in der Oberfläche einstellen (Weg B).

Weg A: Start mit Docker Compose

Lege eine docker-compose.yml an und deinen API-Key in eine Datei .env daneben (PRO_MODEL_HUB_API_KEY=…):

docker-compose.yml
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    volumes:
      - open-webui:/app/backend/data
    environment:
      # Verbindung zum pro Model Hub, nur die Chat-Modelle
      ENABLE_OLLAMA_API: "false"
      OPENAI_API_BASE_URL: https://api.promodelhub.de/v1
      OPENAI_API_KEY: ${PRO_MODEL_HUB_API_KEY}
      OPENAI_API_CONFIGS: '{"0": {"enable": true, "model_ids": ["gemma-4-26b-a4b", "gemma-4-31b", "qwen3.6-35b-a3b", "qwen3.8-27b"]}}'
      # Eingebaute Werkzeuge aus, Datei-Kontext an (für alle Modelle)
      DEFAULT_MODEL_METADATA: '{"capabilities": {"builtin_tools": false, "file_context": true}}'
      # Titel, Tags und Folgefragen mit dem schnellen Standardmodell
      TASK_MODEL_EXTERNAL: gemma-4-26b-a4b
      # Embeddings für Fragen an Dokumente
      RAG_EMBEDDING_ENGINE: openai
      RAG_OPENAI_API_BASE_URL: https://api.promodelhub.de/v1
      RAG_OPENAI_API_KEY: ${PRO_MODEL_HUB_API_KEY}
      RAG_EMBEDDING_MODEL: qwen3-vl-embedding-8b
      RAG_EMBEDDING_BATCH_SIZE: "32"
      RAG_EMBEDDING_CONCURRENT_REQUESTS: "2"
      # Reranker
      ENABLE_RAG_HYBRID_SEARCH: "true"
      RAG_RERANKING_ENGINE: external
      RAG_EXTERNAL_RERANKER_URL: https://api.promodelhub.de/v1/rerank
      RAG_EXTERNAL_RERANKER_API_KEY: ${PRO_MODEL_HUB_API_KEY}
      RAG_RERANKING_MODEL: qwen3-vl-reranker-2b
volumes:
  open-webui:
docker compose up -d

Open WebUI läuft danach unter http://localhost:3000. Wer sich zuerst registriert, wird Admin. Für den Betrieb solltest du statt main eine feste Version des Images eintragen.

Die Liste der Modell-IDs passt du an, wenn neue Modelle dazukommen (aktuelle IDs in der Modellübersicht).

Umgebungsvariablen gelten nur beim ersten Start

Open WebUI übernimmt diese Werte nur beim ersten Start in seine Datenbank. Danach gelten die Einstellungen aus der Oberfläche, auch wenn du die docker-compose.yml änderst. Änderungen machst du dann in der Oberfläche (Weg B).

Weg B: Einrichtung in der Oberfläche

Die Einstellungen erreichst du über dein Profilbild unten links. Alles Folgende steht in den Einstellungen im unteren Teil unter Administrator.

Verbindung anlegen

Administrator → KI → Verbindungen: Bei OpenAI-API über das + eine Verbindung hinzufügen, als URL https://api.promodelhub.de/v1 und als Authentifizierung Bearer mit deinem API-Key eintragen.

Unter Erweitert → Modell-IDs trägst du die Chat-Modelle ein, die dein Team nutzen soll, z. B. gemma-4-26b-a4b, gemma-4-31b, qwen3.6-35b-a3b und qwen3.8-27b. Ohne diese Liste übernimmt Open WebUI alle Modelle aus /v1/models, auch das Embedding-Modell und den Reranker, die im Chat nicht funktionieren.

Verbindung zum pro Model Hub mit eingetragenen Modell-IDs

In der Modellauswahl erscheinen danach nur die Chat-Modelle:

Modellauswahl mit den vier Chat-Modellen

Eingebaute Werkzeuge aus, Datei-Kontext an

Administrator → KI → Modelle → Modell-Standardwerte → Modellfähigkeiten → Fähigkeiten: Eingebaute Werkzeuge ausschalten, Datei-Kontext einschalten, speichern. Das gilt für alle Modelle, solange du bei einem Modell nichts anderes einstellst.

Modell-Standardwerte mit ausgeschalteten eingebauten Werkzeugen und eingeschaltetem Datei-Kontext

Mit eingeschalteten Werkzeugen schickt Open WebUI bei jeder Nachricht die Beschreibungen seiner eingebauten Werkzeuge (Wissensspeicher, Notizen, Erinnerungen, Uhrzeit und weitere) mit. In unserem Test kostete die Frage „Was ist ein Reverse Proxy? Antworte in zwei Sätzen.“ damit 6.482 Input-Token, ohne die Werkzeuge 28. Dafür kann das Modell mit Werkzeugen selbst entscheiden, wann es in Dokumenten sucht. Ohne die Werkzeuge übernimmt das der Datei-Kontext: Open WebUI sucht vor jeder Antwort in den angehängten Dateien und gibt dem Modell die passenden Abschnitte mit.

Für Teams: Neue Modelle sind in Open WebUI zunächst privat und nur für Admins sichtbar. Gib sie pro Modell frei: Stift-Symbol neben dem Modell, oben rechts Zugriff, dann statt Privat den öffentlichen Zugriff wählen oder über Zugriff gewähren bestimmte Gruppen freigeben.

Aufgabenmodell festlegen

Administrator → System → Benutzeroberfläche → Aufgaben: Als Externes Aufgabenmodell gemma-4-26b-a4b wählen und speichern.

Externes Aufgabenmodell gemma-4-26b-a4b

Neben der Antwort schickt Open WebUI im Hintergrund eigene Requests für den Chat-Titel, die Tags, die vorgeschlagenen Folgefragen und bei Dokumenten für die Suchanfrage. Mit „Aktuelles Modell“ laufen sie über das Modell, mit dem gerade gechattet wird. Bei Modellen, die standardmäßig nachdenken (siehe Reasoning), kostet das ein Vielfaches: Mit qwen3.8-27b brauchten Titel, Tags und Folgefragen in unserem Test zusammen rund 790 Output-Token, mit gemma-4-26b-a4b rund 110.

Weiter unten auf derselben Seite kannst du unter Generierung einzelne Hintergrundaufgaben ganz abschalten, z. B. Folgefragen-Generierung oder Tag-Generierung.

Embeddings für Dokumente

Administrator → Werkzeuge → Dokumente → Embedding:

FeldWert
Embedding-Modell-EngineOpenAI
API-Basis-URLhttps://api.promodelhub.de/v1
API-Schlüsseldein API-Key
Embedding-Modellqwen3-vl-embedding-8b
Embedding-Batch-Größe32
Gleichzeitige Embedding-Anfragen2

Embedding-Einstellungen in Open WebUI

Mit den Standardwerten (Batch-Größe 1, unbegrenzt viele gleichzeitige Anfragen) schickt Open WebUI jeden Abschnitt eines Dokuments als eigenen Request, alle auf einmal. Bei einem Dokument mit 90 Abschnitten bekamen in unserem Test 82 Requests 429, die Datei landete mit Status „failed“ nicht im Index. Mit Batch-Größe 32 und 2 gleichzeitigen Anfragen ging ein Dokument mit 150 Abschnitten in 5 Requests durch.

Wechselst du später das Embedding-Modell, musst du alle Dokumente und Wissensspeicher neu einlesen. Die Vektoren verschiedener Modelle passen nicht zusammen.

Reranker einschalten

Auf derselben Seite unter Abruf: Hybride Suche einschalten, dann

FeldWert
Reranking-EngineExtern
API-Basis-URLhttps://api.promodelhub.de/v1/rerank
API-Schlüsseldein API-Key
Reranking-Modellqwen3-vl-reranker-2b

Reranking-Einstellungen mit dem Reranker des pro Model Hub

Der Reranker sortiert die gefundenen Abschnitte nach Relevanz, bevor sie an das Modell gehen (siehe Rerank). Open WebUI nutzt ihn nur bei eingeschalteter hybrider Suche.

Fragen an Dokumente

Hänge eine Datei über das + im Eingabefeld an (Datei(en) hochladen oder unter Anhänge eine bereits hochgeladene Datei bzw. einen Wissensspeicher) und stelle deine Frage. Die Antwort zeigt, aus welcher Quelle sie stammt:

Antwort mit Quelle aus einem angehängten Dokument

Gut zu wissen:

  • Kleine Dateien gehen ganz in den Kontext. Dateien unter dem Volltext-Schwellenwert (Standard 50.000 Zeichen, unter Dokumente → Abruf) durchsucht Open WebUI nicht, sondern schickt ihren ganzen Text mit jeder Nachricht mit. Eine Datei mit 40.000 Zeichen kostet so grob 10.000 bis 13.000 Input-Token pro Nachricht. Mit dem Wert 0 sucht Open WebUI immer nur die passenden Abschnitte heraus.
  • Hochladen verbraucht Credits für die Embeddings, einmal pro Datei. Ein Dokument mit 94.000 Zeichen brauchte in unserem Test rund 32.000 Token, bei Credit-Faktor 0,25× also rund 8.000 Credits.
  • Jede Frage an ein Dokument löst neben der Antwort eine Suchanfrage, zwei Embeddings und zwei Rerank-Aufrufe aus. Die Antwort selbst enthält die gefundenen Abschnitte als Kontext, in unserem Test rund 2.500 Input-Token.

Was eine Nachricht kostet

Gemessen mit den empfohlenen Einstellungen und gemma-4-26b-a4b (Credit-Faktor 1×). Die Zahlen hängen von Frage, Antwort und Chatverlauf ab und sind nur ein Anhaltspunkt.

NachrichtRequestsToken (Input + Output)
kurze Frage, erste Nachricht im Chat4 (Antwort, Titel, Tags, Folgefragen)rund 1.100
dieselbe Frage mit eingebauten Werkzeugen4rund 7.600
Frage an ein angehängtes Dokument5 Chat, 2 Embedding, 2 Rerankrund 4.000 Chat und rund 7.900 Rerank (Faktor 0,25×)

Wie Token in Credits umgerechnet werden, steht unter Abrechnung.

Limits

Jede Nachricht in Open WebUI löst mehrere Requests aus, alle zählen gegen die Requests pro Minute und die parallelen Requests deines Pakets (Limits). Mit dem Starter-Paket (30 Requests pro Minute) reicht das für etwa sechs bis acht Nachrichten pro Minute im ganzen Team. Für ein Team, das regelmäßig chattet, ist ein größeres Paket sinnvoll.

Wird ein Limit erreicht, zeigt Open WebUI die Fehlermeldung der API im Chat an, z. B. bei aufgebrauchten Credits. Was die Fehler bedeuten, steht unter Fehler.

Reasoning

Modelle mit Denkmodus zeigen den Gedankengang in Open WebUI zugeklappt über der Antwort („… nachgedacht“). Welche Modelle standardmäßig nachdenken, steht unter Reasoning. Für Alltagsfragen im Team ist gemma-4-26b-a4b ohne Reasoning meist die schnellste und günstigste Wahl.

Auf dieser Seite