Open WebUI
Eine eigene Chat-Oberfläche für dein Team mit den Modellen des pro Model Hub, inklusive Fragen an eigene Dokumente.
Open WebUI ist eine Open-Source-Chat-Oberfläche, die du selbst betreibst. Mit dem pro Model Hub als Anbieter bekommt dein Team einen Chat wie ChatGPT, dessen Modelle in Rechenzentren in der EU laufen, und kann Fragen an eigene Dokumente stellen.
Diese Anleitung ist mit Open WebUI 0.13.4 geprüft (November 2026). Menüs und Standardwerte ändern sich zwischen den Versionen von Open WebUI. Wenn du eine andere Version nutzt, können Namen und Wege leicht abweichen.
Eigener API-Key für Open WebUI
Alle Nutzer deiner Open-WebUI-Instanz teilen sich einen API-Key und damit die Limits deines Pakets. Lege für Open WebUI einen eigenen API-Key mit Credit-Limit an. So siehst du den Verbrauch getrennt, und ein Fehler in der Konfiguration verbraucht nicht das ganze Kontingent.
Empfohlene Einstellungen auf einen Blick
Mit den Standardwerten von Open WebUI funktioniert der Chat sofort, verbraucht aber deutlich mehr Credits als nötig, und das Hochladen größerer Dokumente scheitert an den Limits. Diese Einstellungen empfehlen wir:
| Einstellung | Wert | Warum |
|---|---|---|
| Modell-IDs der Verbindung | nur die Chat-Modelle | sonst erscheinen Embedding-Modell und Reranker in der Modellauswahl |
| Eingebaute Werkzeuge | aus | spart rund 6.400 Input-Token pro Nachricht |
| Datei-Kontext | an | nötig, sobald die eingebauten Werkzeuge aus sind, sonst ignoriert das Modell angehängte Dateien |
| Externes Aufgabenmodell | gemma-4-26b-a4b | Titel, Tags und Folgefragen mit einem schnellen Modell ohne Reasoning |
| Embedding-Batch-Größe | 32 | ein Request für 32 Abschnitte statt einer pro Abschnitt |
| Gleichzeitige Embedding-Anfragen | 2 | mit dem Standardwert (unbegrenzt) scheitert der Upload größerer Dateien an den parallelen Requests |
| Reranking | extern, qwen3-vl-reranker-2b | bessere Treffer bei Fragen an Dokumente |
Du kannst alles beim Start per Docker festlegen (Weg A) oder in der Oberfläche einstellen (Weg B).
Weg A: Start mit Docker Compose
Lege eine docker-compose.yml an und deinen API-Key in eine Datei .env daneben (PRO_MODEL_HUB_API_KEY=…):
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
ports:
- "3000:8080"
volumes:
- open-webui:/app/backend/data
environment:
# Verbindung zum pro Model Hub, nur die Chat-Modelle
ENABLE_OLLAMA_API: "false"
OPENAI_API_BASE_URL: https://api.promodelhub.de/v1
OPENAI_API_KEY: ${PRO_MODEL_HUB_API_KEY}
OPENAI_API_CONFIGS: '{"0": {"enable": true, "model_ids": ["gemma-4-26b-a4b", "gemma-4-31b", "qwen3.6-35b-a3b", "qwen3.8-27b"]}}'
# Eingebaute Werkzeuge aus, Datei-Kontext an (für alle Modelle)
DEFAULT_MODEL_METADATA: '{"capabilities": {"builtin_tools": false, "file_context": true}}'
# Titel, Tags und Folgefragen mit dem schnellen Standardmodell
TASK_MODEL_EXTERNAL: gemma-4-26b-a4b
# Embeddings für Fragen an Dokumente
RAG_EMBEDDING_ENGINE: openai
RAG_OPENAI_API_BASE_URL: https://api.promodelhub.de/v1
RAG_OPENAI_API_KEY: ${PRO_MODEL_HUB_API_KEY}
RAG_EMBEDDING_MODEL: qwen3-vl-embedding-8b
RAG_EMBEDDING_BATCH_SIZE: "32"
RAG_EMBEDDING_CONCURRENT_REQUESTS: "2"
# Reranker
ENABLE_RAG_HYBRID_SEARCH: "true"
RAG_RERANKING_ENGINE: external
RAG_EXTERNAL_RERANKER_URL: https://api.promodelhub.de/v1/rerank
RAG_EXTERNAL_RERANKER_API_KEY: ${PRO_MODEL_HUB_API_KEY}
RAG_RERANKING_MODEL: qwen3-vl-reranker-2b
volumes:
open-webui:docker compose up -dOpen WebUI läuft danach unter http://localhost:3000. Wer sich zuerst registriert, wird Admin. Für den Betrieb solltest du statt main eine feste Version des Images eintragen.
Die Liste der Modell-IDs passt du an, wenn neue Modelle dazukommen (aktuelle IDs in der Modellübersicht).
Umgebungsvariablen gelten nur beim ersten Start
Open WebUI übernimmt diese Werte nur beim ersten Start in seine Datenbank. Danach gelten die Einstellungen aus der Oberfläche, auch wenn du die docker-compose.yml änderst. Änderungen machst du dann in der Oberfläche (Weg B).
Weg B: Einrichtung in der Oberfläche
Die Einstellungen erreichst du über dein Profilbild unten links. Alles Folgende steht in den Einstellungen im unteren Teil unter Administrator.
Verbindung anlegen
Administrator → KI → Verbindungen: Bei OpenAI-API über das + eine Verbindung hinzufügen, als URL https://api.promodelhub.de/v1 und als Authentifizierung Bearer mit deinem API-Key eintragen.
Unter Erweitert → Modell-IDs trägst du die Chat-Modelle ein, die dein Team nutzen soll, z. B. gemma-4-26b-a4b, gemma-4-31b, qwen3.6-35b-a3b und qwen3.8-27b. Ohne diese Liste übernimmt Open WebUI alle Modelle aus /v1/models, auch das Embedding-Modell und den Reranker, die im Chat nicht funktionieren.

In der Modellauswahl erscheinen danach nur die Chat-Modelle:

Eingebaute Werkzeuge aus, Datei-Kontext an
Administrator → KI → Modelle → Modell-Standardwerte → Modellfähigkeiten → Fähigkeiten: Eingebaute Werkzeuge ausschalten, Datei-Kontext einschalten, speichern. Das gilt für alle Modelle, solange du bei einem Modell nichts anderes einstellst.

Mit eingeschalteten Werkzeugen schickt Open WebUI bei jeder Nachricht die Beschreibungen seiner eingebauten Werkzeuge (Wissensspeicher, Notizen, Erinnerungen, Uhrzeit und weitere) mit. In unserem Test kostete die Frage „Was ist ein Reverse Proxy? Antworte in zwei Sätzen.“ damit 6.482 Input-Token, ohne die Werkzeuge 28. Dafür kann das Modell mit Werkzeugen selbst entscheiden, wann es in Dokumenten sucht. Ohne die Werkzeuge übernimmt das der Datei-Kontext: Open WebUI sucht vor jeder Antwort in den angehängten Dateien und gibt dem Modell die passenden Abschnitte mit.
Für Teams: Neue Modelle sind in Open WebUI zunächst privat und nur für Admins sichtbar. Gib sie pro Modell frei: Stift-Symbol neben dem Modell, oben rechts Zugriff, dann statt Privat den öffentlichen Zugriff wählen oder über Zugriff gewähren bestimmte Gruppen freigeben.
Aufgabenmodell festlegen
Administrator → System → Benutzeroberfläche → Aufgaben: Als Externes Aufgabenmodell gemma-4-26b-a4b wählen und speichern.

Neben der Antwort schickt Open WebUI im Hintergrund eigene Requests für den Chat-Titel, die Tags, die vorgeschlagenen Folgefragen und bei Dokumenten für die Suchanfrage. Mit „Aktuelles Modell“ laufen sie über das Modell, mit dem gerade gechattet wird. Bei Modellen, die standardmäßig nachdenken (siehe Reasoning), kostet das ein Vielfaches: Mit qwen3.8-27b brauchten Titel, Tags und Folgefragen in unserem Test zusammen rund 790 Output-Token, mit gemma-4-26b-a4b rund 110.
Weiter unten auf derselben Seite kannst du unter Generierung einzelne Hintergrundaufgaben ganz abschalten, z. B. Folgefragen-Generierung oder Tag-Generierung.
Embeddings für Dokumente
Administrator → Werkzeuge → Dokumente → Embedding:
| Feld | Wert |
|---|---|
| Embedding-Modell-Engine | OpenAI |
| API-Basis-URL | https://api.promodelhub.de/v1 |
| API-Schlüssel | dein API-Key |
| Embedding-Modell | qwen3-vl-embedding-8b |
| Embedding-Batch-Größe | 32 |
| Gleichzeitige Embedding-Anfragen | 2 |

Mit den Standardwerten (Batch-Größe 1, unbegrenzt viele gleichzeitige Anfragen) schickt Open WebUI jeden Abschnitt eines Dokuments als eigenen Request, alle auf einmal. Bei einem Dokument mit 90 Abschnitten bekamen in unserem Test 82 Requests 429, die Datei landete mit Status „failed“ nicht im Index. Mit Batch-Größe 32 und 2 gleichzeitigen Anfragen ging ein Dokument mit 150 Abschnitten in 5 Requests durch.
Wechselst du später das Embedding-Modell, musst du alle Dokumente und Wissensspeicher neu einlesen. Die Vektoren verschiedener Modelle passen nicht zusammen.
Reranker einschalten
Auf derselben Seite unter Abruf: Hybride Suche einschalten, dann
| Feld | Wert |
|---|---|
| Reranking-Engine | Extern |
| API-Basis-URL | https://api.promodelhub.de/v1/rerank |
| API-Schlüssel | dein API-Key |
| Reranking-Modell | qwen3-vl-reranker-2b |

Der Reranker sortiert die gefundenen Abschnitte nach Relevanz, bevor sie an das Modell gehen (siehe Rerank). Open WebUI nutzt ihn nur bei eingeschalteter hybrider Suche.
Fragen an Dokumente
Hänge eine Datei über das + im Eingabefeld an (Datei(en) hochladen oder unter Anhänge eine bereits hochgeladene Datei bzw. einen Wissensspeicher) und stelle deine Frage. Die Antwort zeigt, aus welcher Quelle sie stammt:

Gut zu wissen:
- Kleine Dateien gehen ganz in den Kontext. Dateien unter dem Volltext-Schwellenwert (Standard 50.000 Zeichen, unter Dokumente → Abruf) durchsucht Open WebUI nicht, sondern schickt ihren ganzen Text mit jeder Nachricht mit. Eine Datei mit 40.000 Zeichen kostet so grob 10.000 bis 13.000 Input-Token pro Nachricht. Mit dem Wert
0sucht Open WebUI immer nur die passenden Abschnitte heraus. - Hochladen verbraucht Credits für die Embeddings, einmal pro Datei. Ein Dokument mit 94.000 Zeichen brauchte in unserem Test rund 32.000 Token, bei Credit-Faktor 0,25× also rund 8.000 Credits.
- Jede Frage an ein Dokument löst neben der Antwort eine Suchanfrage, zwei Embeddings und zwei Rerank-Aufrufe aus. Die Antwort selbst enthält die gefundenen Abschnitte als Kontext, in unserem Test rund 2.500 Input-Token.
Was eine Nachricht kostet
Gemessen mit den empfohlenen Einstellungen und gemma-4-26b-a4b (Credit-Faktor 1×). Die Zahlen hängen von Frage, Antwort und Chatverlauf ab und sind nur ein Anhaltspunkt.
| Nachricht | Requests | Token (Input + Output) |
|---|---|---|
| kurze Frage, erste Nachricht im Chat | 4 (Antwort, Titel, Tags, Folgefragen) | rund 1.100 |
| dieselbe Frage mit eingebauten Werkzeugen | 4 | rund 7.600 |
| Frage an ein angehängtes Dokument | 5 Chat, 2 Embedding, 2 Rerank | rund 4.000 Chat und rund 7.900 Rerank (Faktor 0,25×) |
Wie Token in Credits umgerechnet werden, steht unter Abrechnung.
Limits
Jede Nachricht in Open WebUI löst mehrere Requests aus, alle zählen gegen die Requests pro Minute und die parallelen Requests deines Pakets (Limits). Mit dem Starter-Paket (30 Requests pro Minute) reicht das für etwa sechs bis acht Nachrichten pro Minute im ganzen Team. Für ein Team, das regelmäßig chattet, ist ein größeres Paket sinnvoll.
Wird ein Limit erreicht, zeigt Open WebUI die Fehlermeldung der API im Chat an, z. B. bei aufgebrauchten Credits. Was die Fehler bedeuten, steht unter Fehler.
Reasoning
Modelle mit Denkmodus zeigen den Gedankengang in Open WebUI zugeklappt über der Antwort („… nachgedacht“). Welche Modelle standardmäßig nachdenken, steht unter Reasoning. Für Alltagsfragen im Team ist gemma-4-26b-a4b ohne Reasoning meist die schnellste und günstigste Wahl.