Phase 1: Aufbau der lokalen KI-Infrastruktur

Problemstellung

Cloudbasierte KI-Dienste verursachen:

• laufende Kosten,
• Datenschutzprobleme,
• API-Abhängigkeiten,
• begrenzte Anpassbarkeit,
• eingeschränkte Offline-Fähigkeiten.

Es sollte daher eine vollständig lokale Infrastruktur aufgebaut werden.

Ziele

• Vollständig lokaler Betrieb
• Docker-basierte Architektur
• Unterstützung verschiedener Open-Source-Modelle
• Austauschbare Komponenten
• Hardwarebeschleunigung über GPU
• Integration in OpenWebUI

Umsetzung

Die Infrastruktur basiert auf:

• Docker
• Ollama
• OpenWebUI
• NVIDIA GPU-Beschleunigung
• Reverse Proxy Infrastruktur

Dadurch entstand eine modulare lokale KI-Plattform, auf der verschiedene Sprachmodelle parallel betrieben werden können.