Lokal AI Homelab Sistemi
Proje Özeti
Bu proje, evde bulunan tüketici sınıfı donanımları güvenli, yönetilebilir ve sürdürülebilir bir lokal yapay zekâ altyapısına dönüştürmek amacıyla geliştirdiğim kişisel homelab çalışmasıdır.
Hedefim yalnızca birkaç AI modelini çalıştırmak değildi. Farklı işletim sistemlerine sahip cihazları tek bir yapı altında yönetmek, GPU tabanlı iş yüklerini test etmek, güvenli uzaktan erişim sağlamak ve tüm sistemi dokümante edilebilir, geri alınabilir ve uzun vadede geliştirilebilir biçimde kurmak istedim.
Sistem Mimarisi
Sistem, her biri farklı rol üstlenen birkaç cihazdan oluşuyor:
- MacBook: Ana yönetim ve geliştirme cihazı
- Raspberry Pi 400: Merkezi kontrol ve koordinasyon düğümü
- PC1: İkinci GPU worker ve test sistemi
- PC2: Ana lokal AI ve GPU worker
- Ubuntu laptop: Hafif yardımcı düğüm
Cihazlar arasında güvenli bağlantı için Tailscale kullanılıyor. Router üzerinde port açılmıyor; SSH, RDP ve web servisleri doğrudan internete yayınlanmıyor.
Kendi geliştirdiğim lab ve homelab komutları sayesinde cihazların durumu, aktif işletim sistemi, GPU, Docker, ağ servisleri ve güç yönetimi tek noktadan kontrol edilebiliyor.
MacBook → Tailscale → Raspberry Pi 400 → PC1 / PC2 / Laptop
Ana AI Worker: PC2
Projenin ana lokal AI sistemi PC2 üzerinde çalışıyor.
Donanım
- Intel Core i5-10600K
- NVIDIA GeForce RTX 3080, 10 GB VRAM
- 16 GB RAM
- 1 TB Ubuntu SSD
- 500 GB Windows NVMe
- ASUS PRIME B460-PLUS anakart
PC2, Ubuntu 24.04 üzerinde Docker, NVIDIA Container Toolkit ve Ollama kullanıyor. GPU’nun uzun süreli ve güvenli çalışması için yazılımsal olarak 240 W güç limiti uygulanıyor. Ayrıca fan kontrolü, sıcaklık takibi ve periyodik telemetri servisleri geliştirildi.
Servisler sürekli açık bırakılmıyor. Kullanılmadıklarında AI container’ları durduruluyor ve gereksiz ağ portları kapalı tutuluyor.
Kullanılan Teknolojiler
Projede kullandığım başlıca teknolojiler:
- Linux ve macOS
- Docker ve Docker Compose
- NVIDIA Container Toolkit
- Ollama ve Open WebUI
- Tailscale, SSH ve RDP
- Bash ve Python
- Git ve GitHub
- systemd servisleri ve zamanlayıcıları
- Beszel ve özel telemetri scriptleri
Lokal Model Testleri
PC2 üzerinde farklı amaçlara yönelik yaklaşık 30 lokal model indirildi ve test edildi. Bunlar arasında Gemma, Qwen, DeepSeek, Granite, Llama, Mistral, Phi, DeepCoder, embedding ve vision modelleri bulunuyor.
Modelleri yalnızca hız açısından değerlendirmedim. Python tabanlı özel bir test sistemi geliştirerek şu alanlarda karşılaştırmalar yaptım:
- Kod üretimi ve kod düzeltme
- JSON ve yapılandırılmış çıktı
- RAG ve kaynak temelli cevaplama
- Dil ve reasoning görevleri
- Agent planlama
- Güvenlik kurallarına uyum
- Yanıt kararlılığı
- Gecikme ve kaynak kullanımı
12 model ve 40 görevden oluşan bir değerlendirme kampanyasında toplam 480 model çıktısı üretildi.
İlk sonuçlarda Granite modelleri genel kararlılık ve JSON çıktılarında, Qwen Coder modelleri ise kodlama görevlerinde güçlü sonuçlar verdi. Tek bir modeli “en iyi” ilan etmek yerine, farklı görevler için farklı modeller seçmenin daha doğru olduğu görüldü.
Sistem Problemleri ve Çözüm Yaklaşımı
Proje sırasında yalnızca AI modelleriyle değil, gerçek sistem problemleriyle de ilgilendim.
Örneğin PC2’de nadiren görülen fiziksel kapanmama problemi için systemd, ACPI, PCIe, GPU, ağ kartı ve Wake-on-LAN katmanlarında log ve kanıt toplama araçları geliştirildi.
Sorunlar rastgele ayar değişiklikleriyle değil; kontrollü testler, tek değişkenli denemeler, log analizi ve geri alınabilir değişikliklerle incelendi.
Projenin temel çalışma prensibi şudur:
Önce gözlemle, küçük bir değişiklik yap, sonucu doğrula ve dokümante et.
Sonuç
Bu çalışma sayesinde lokal AI modellerini çalıştırmanın ötesinde, uçtan uca bir sistem tasarlama ve işletme deneyimi kazandım.
Proje şu yetkinlikleri bir araya getiriyor:
- Linux sistem yönetimi
- GPU ve donanım optimizasyonu
- Docker tabanlı servis mimarisi
- Güvenli ağ ve uzaktan erişim
- Python ve Bash otomasyonu
- AI model değerlendirme
- Monitoring ve telemetri
- Incident debugging
- Git tabanlı dokümantasyon ve değişiklik yönetimi
Sistem bugün güvenli biçimde uzaktan yönetilebiliyor. PC1 ve PC2 GPU worker olarak kullanılabiliyor; PC2 üzerinde model cache’i, değerlendirme araçları, telemetri, fan kontrolü ve güç koruma katmanları hazır durumda.
Bir sonraki hedefler; görev bazlı model seçimini geliştirmek, RAG tabanlı kişisel bilgi sistemi kurmak ve başlangıçta yalnızca okuma ve öneri yetkisine sahip güvenli lokal agent’lar oluşturmaktır.
Proje türü: Kişisel Homelab / Lokal AI Altyapısı
Odak alanları: Linux, Docker, NVIDIA GPU, Lokal LLM, Otomasyon, Monitoring, Güvenli Uzaktan Erişim