Local AI Homelab
Persönliche Systeminfrastruktur zum Ausführen, Überwachen und Vergleichen lokaler KI-Modelle auf mehreren Geräten.
Ziel
Mein Ziel war nicht nur, einige lokale Sprachmodelle auszuführen. Ich wollte Geräte mit unterschiedlichen Betriebssystemen zentral verwalten, GPU-Workloads vergleichen, den Fernzugriff absichern und Änderungen bei Bedarf kontrolliert rückgängig machen können.
Systemaufbau
Das Labor besteht aus einem MacBook für Verwaltung und Entwicklung, einem Raspberry Pi 400 für zentrale Steuerungsaufgaben, zwei Desktop-PCs und einem Linux-Notebook. Die Geräte kommunizieren über ein privates Tailscale-Netz; allgemeine Dienste werden nicht direkt aus dem Internet erreichbar gemacht.
Eigene Befehle bündeln Gerätestatus, GPU-Auslastung, Docker-Dienste, Netzwerkverbindungen und Energieverwaltung. Vor Änderungen nutze ich eine Vorschau, eine ausdrückliche Bestätigung und eine klar definierte Möglichkeit, Änderungen rückgängig zu machen.
Modellbewertung
Lokale Modelle vergleiche ich nicht nur anhand ihrer Geschwindigkeit. Berücksichtigt werden unter anderem Codeerzeugung, strukturierte Ausgaben, quellenbasierte Antworten, Sprach- und Logikaufgaben, Antwortstabilität, Latenz und Ressourcenbedarf.
Die Bewertungen erfolgen als strukturierte Modellvergleiche. Aufgabenbeschreibungen, Ergebnisdateien und Modellversionen werden dabei dokumentiert.
Mein Beitrag
Ich entwarf Netzwerkstruktur, Geräterollen, Befehlsstruktur, Überwachung und den Ansatz zur Modellbewertung. Das System betreibe ich im Alltag und verwalte dabei Hardware, Linux, Container, Netzwerk und KI-Komponenten gemeinsam.
Ergebnis
Das Labor lässt sich aus der Ferne verwalten, ohne allgemeine Dienste öffentlich im Internet bereitzustellen. Zwei Desktop-PCs dienen als GPU-Rechenknoten. Überwachung, Temperaturkontrolle, Leistungsgrenzen sowie Werkzeuge zum Ausführen und Bewerten von Modellen sind Bestandteil des aktiven Systems.
Technologien
Linux · macOS · Docker · NVIDIA Container Toolkit · Ollama · Open WebUI · Tailscale · Python · Bash · systemd · Beszel · Uptime Kuma
Dieses Projekt ist nicht öffentlich zugänglich. In einem geeigneten Fachgespräch kann ich ein anonymisiertes Netzwerkschema, Monitoring-Ansichten und den Ansatz zur Modellbewertung vorstellen. In veröffentlichten Bildschirmaufnahmen sind reale IP-Adressen, Geräte- und Benutzernamen, E-Mail-Adressen sowie Netzwerkkennungen unkenntlich gemacht.