Tutorials · Schritt für Schritt
Dieses Tutorial ist die ausführliche Version zum Kurzbeitrag „Lokales KI-Labor mit Ollama, Open WebUI und Docker Compose“. Es ist bewusst langsam und einfach geschrieben. Ziel ist nicht, möglichst viele Fachbegriffe unterzubringen, sondern dass du am Ende wirklich ein kleines lokales KI-Labor starten und verstehen kannst, was dabei passiert.
1. Ziel des Tutorials in einfachen Worten
Du richtest auf deinem Computer eine kleine Testumgebung für lokale KI ein. Lokal bedeutet: Ein Modell läuft auf deinem eigenen Gerät oder in deinem eigenen Netzwerk, nicht direkt bei einem großen Cloud-Anbieter. Du kannst damit ausprobieren, wie sich Sprachmodelle verhalten, Prompts testen und erste Workflows entwickeln.
Wir nutzen dafür drei Bausteine:
- Ollama: lädt und startet lokale KI-Modelle.
- Open WebUI: gibt dir eine Chat-Oberfläche im Browser.
- Docker Compose: startet Open WebUI reproduzierbar als Container.
2. Was du am Ende hast
Wenn alles funktioniert, kannst du im Browser eine Oberfläche öffnen, dort ein lokales Modell auswählen und damit chatten. Du hast außerdem verstanden, welche Teile zusammenarbeiten und wie du das Setup später wieder startest oder stoppst.
3. Voraussetzungen
- Ein Computer mit macOS, Windows oder Linux.
- Genug freier Speicherplatz. Für erste Tests solltest du mehrere Gigabyte frei haben.
- Grundkenntnisse im Umgang mit Terminal oder Eingabeaufforderung. Keine Sorge: Die wichtigsten Befehle stehen hier komplett dabei.
- Docker Desktop oder eine vergleichbare Docker-Umgebung.
- Ollama.
Für den Anfang reicht ein kleines Modell. Du brauchst nicht sofort einen High-End-Rechner. Wenn dein Gerät weniger Leistung hat, dauern Antworten einfach länger.
4. Begriffe kurz erklärt
Modell
Das Modell ist der eigentliche KI-Kern. Es erzeugt Antworten, Zusammenfassungen oder Ideen. Beispiele sind kleine lokale Modelle wie Llama-, Gemma- oder Qwen-Varianten.
Ollama
Ollama ist ein Werkzeug, das lokale Modelle herunterlädt, startet und über eine lokale Schnittstelle bereitstellt. Open WebUI kann später mit Ollama sprechen.
Open WebUI
Open WebUI ist eine Oberfläche im Browser. Statt alles per Terminal zu testen, bekommst du ein Chatfenster, Modell-Auswahl und eine komfortablere Bedienung.
Docker
Docker startet Programme in sogenannten Containern. Ein Container bringt viele benötigte Bestandteile direkt mit. Dadurch ist die Installation oft sauberer und leichter zu wiederholen.
Docker Compose
Docker Compose liest eine Datei namens docker-compose.yml. Darin steht, welcher Dienst gestartet werden soll, welche Ports verwendet werden und wo Daten gespeichert werden.
5. Vorbereitung
Schritt 1: Ollama installieren
Öffne die offizielle Download-Seite von Ollama und installiere die Version für dein Betriebssystem:
Nach der Installation prüfst du im Terminal:
ollama --version
Was macht der Befehl? Er fragt Ollama nach der installierten Version.
Woran erkennst du, dass es geklappt hat? Du siehst eine Versionsnummer oder eine kurze Ollama-Ausgabe. Wenn der Befehl nicht gefunden wird, ist Ollama noch nicht korrekt installiert oder dein Terminal wurde nach der Installation nicht neu geöffnet.
Prüfe zusätzlich, ob der lokale Ollama-Dienst antwortet:
ollama list
Wenn hier eine Modellliste oder eine leere Liste erscheint, ist Ollama erreichbar. Wenn eine Verbindungsfehlermeldung erscheint, starte die Ollama-App beziehungsweise den Ollama-Dienst noch einmal.
Schritt 2: Ein kleines Modell laden
Für den Anfang eignet sich ein kleines Modell. Beispiel:
ollama pull llama3.2:3b
Was macht der Befehl? Ollama lädt das Modell llama3.2:3b auf deinen Computer.
Woran erkennst du, dass es geklappt hat? Der Download läuft bis 100 Prozent durch. Danach kannst du das Modell lokal starten.
Teste es direkt:
ollama run llama3.2:3b
Gib zum Beispiel ein:
Erkläre mir in drei Sätzen, was ein lokales KI-Modell ist.
Wenn eine Antwort kommt, funktioniert Ollama grundsätzlich.
Schritt 3: Docker installieren
Installiere Docker über die offizielle Docker-Seite:
Prüfe danach:
docker --version
docker compose version
Was macht das? Die Befehle prüfen, ob Docker und Docker Compose verfügbar sind.
Woran erkennst du Erfolg? Beide Befehle geben eine Versionsnummer aus.
6. Schritt-für-Schritt: Open WebUI mit Docker Compose starten
Schritt 1: Projektordner anlegen
Lege einen eigenen Ordner für dein KI-Labor an:
mkdir lokales-ki-labor
cd lokales-ki-labor
Was macht das? Der erste Befehl erstellt einen Ordner. Der zweite wechselt in diesen Ordner.
Schritt 2: Compose-Datei erstellen
Erstelle eine Datei mit dem Namen docker-compose.yml. Der Inhalt:
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- "3000:8080"
extra_hosts:
- "host.docker.internal:host-gateway"
volumes:
- open-webui:/app/backend/data
environment:
- OLLAMA_BASE_URL=http://host.docker.internal:11434
restart: unless-stopped
volumes:
open-webui:
Was bedeutet das?
image: Docker lädt Open WebUI aus der offiziellen Container-Quelle.ports: Du erreichst Open WebUI später unterhttp://localhost:3000.extra_hosts: hilft besonders unter Linux, damit der Container den Ollama-Dienst auf dem Host überhost.docker.internalfindet.volumes: Einstellungen und Daten bleiben erhalten, auch wenn der Container neu gestartet wird.OLLAMA_BASE_URL: Open WebUI findet Ollama auf deinem Host-System.
Schritt 3: Open WebUI starten
docker compose up -d
Was macht der Befehl? Docker Compose lädt das Open-WebUI-Image und startet den Container im Hintergrund.
Woran erkennst du Erfolg? Der Befehl endet ohne Fehlermeldung. Prüfe zusätzlich:
docker ps
In der Liste sollte ein Container namens open-webui stehen.
Schritt 4: Oberfläche öffnen
Öffne im Browser:
http://localhost:3000
Beim ersten Start kann es etwas dauern. Danach legst du lokal einen ersten Benutzer an. Das ist die Anmeldung für deine Open-WebUI-Instanz.
Schritt 5: Modell auswählen und testen
Wenn Ollama läuft und das Modell geladen ist, sollte Open WebUI das Modell erkennen. Wähle llama3.2:3b oder ein anderes geladenes Modell aus und stelle eine einfache Frage.
Ein guter Testprompt:
Fasse mir in fünf Stichpunkten zusammen, wofür ich ein lokales KI-Labor nutzen kann.
Wenn eine Antwort erscheint, ist dein Grundsetup fertig.
7. Häufige Fehler und einfache Lösungen
Open WebUI findet kein Modell
Prüfe zuerst, ob Ollama läuft:
ollama list
Wenn dein Modell nicht in der Liste steht, lade es erneut mit ollama pull ....
Wenn Ollama im Terminal funktioniert, Open WebUI aber trotzdem keine Modelle sieht, starte den Container nach einer Änderung der Compose-Datei neu:
docker compose down
docker compose up -d
Die Seite localhost:3000 öffnet nicht
Prüfe, ob der Container läuft:
docker ps
Wenn kein Open-WebUI-Container zu sehen ist, starte ihn erneut:
docker compose up -d
Port 3000 ist schon belegt
Ändere in der Compose-Datei die Port-Zeile zum Beispiel auf:
ports:
- "3001:8080"
Danach startest du neu:
docker compose down
docker compose up -d
Die Oberfläche liegt dann unter http://localhost:3001.
Antworten sind langsam
Das ist bei lokalen Modellen normal, besonders auf älterer Hardware. Nutze ein kleineres Modell oder schließe andere rechenintensive Programme.
8. Sicherheits- und Datenschutzhinweise
- Ein lokales Modell ist hilfreich, aber nicht automatisch fehlerfrei.
- Gib keine Passwörter, Tokens oder privaten Schlüssel in Prompts ein.
- Wenn du echte personenbezogene Daten testen willst, kläre vorher Datenschutz und Zweck.
- Öffne Open WebUI nicht ungeschützt ins Internet.
- Nutze lokale KI zuerst für Testdaten, Beispiele und unkritische Inhalte.
9. Checkliste: Hat alles funktioniert?
- Ollama ist installiert und
ollama --versionfunktioniert. - Ein Modell wurde mit
ollama pullgeladen. - Das Modell antwortet mit
ollama run. - Docker und Docker Compose geben Versionsnummern aus.
- Open WebUI läuft als Container.
http://localhost:3000öffnet die Oberfläche.- Open WebUI kann ein Ollama-Modell nutzen.
10. Nächste sinnvolle Ausbaustufen
- Mehrere Modelle vergleichen und kurze Testnotizen führen.
- Prompts für wiederkehrende Aufgaben speichern.
- Mit Beispiel-Dokumenten testen, aber noch keine sensiblen Echtdaten verwenden.
- Später ein lokales Wissenssystem oder RAG ergänzen.
- Backups für wichtige Open-WebUI-Daten einplanen.





