Yerel Yapay Zekâ Laboratuvarı
Yerel yapay zekâ modellerini farklı cihazlarda çalıştırmak, izlemek ve karşılaştırmak için kurduğum kişisel sistem altyapısı.
Amaç
Amacım yalnızca birkaç yerel dil modelini çalıştırmak değildi. Farklı işletim sistemlerine sahip cihazları tek yapıdan yönetmek, GPU iş yüklerini karşılaştırmak, uzaktan erişimi güvenli tutmak ve yapılan değişiklikleri geri alınabilir biçimde uygulamak istedim.
Sistem yapısı
Laboratuvar; yönetim için kullandığım bir MacBook, merkezi kontrol görevindeki Raspberry Pi 400, iki masaüstü bilgisayar ve bir Linux dizüstü bilgisayardan oluşuyor. Cihazlar özel bir Tailscale ağı üzerinden iletişim kuruyor. Genel servisleri doğrudan internete açmıyorum.
Kendi geliştirdiğim komutlar; cihaz durumu, GPU kullanımı, Docker servisleri, ağ bağlantıları ve güç yönetimi gibi bilgileri tek noktada topluyor. Değişiklikleri uygulamadan önce ön izleme, açık onay ve geri alınabilirlik ilkelerini kullanıyorum.
Model değerlendirmesi
Yerel modelleri yalnızca hızlarına göre karşılaştırmıyorum. Kod üretimi, yapılandırılmış çıktı, kaynak temelli yanıtlar, dil ve mantık görevleri, yanıt kararlılığı, gecikme ve kaynak kullanımı gibi ölçütleri birlikte değerlendiriyorum.
Değerlendirmeler yapılandırılmış model karşılaştırmaları biçiminde yürütülüyor; görev tanımları, sonuç dosyaları ve model sürümleri kayıt altında tutuluyor.
Benim katkım
Ağ yapısını, cihaz rollerini, komut sınıflandırmasını, izleme sistemini ve model değerlendirme yaklaşımını tasarladım. Sistemi günlük olarak işletiyor; donanım, Linux, konteyner, ağ ve yapay zekâ katmanlarını birlikte yönetiyorum.
Sonuç
Laboratuvarı uzaktan ve genel internet servisleri açmadan yönetebiliyorum. İki masaüstü bilgisayar GPU işlem düğümü olarak kullanılabiliyor. İzleme, sıcaklık takibi, güç sınırları, model çalıştırma ve değerlendirme araçları aktif sistemin parçası.
Teknolojiler
Linux · macOS · Docker · NVIDIA Container Toolkit · Ollama · Open WebUI · Tailscale · Python · Bash · systemd · Beszel · Uptime Kuma
Bu çalışma kamuya açık değildir. Uygun bir profesyonel görüşmede maskelenmiş ağ şemasını, izleme ekranlarını ve model değerlendirme yaklaşımını paylaşabilirim. Yayımlanan ekran görüntülerinde gerçek IP adresleri, cihaz adları, kullanıcı adları, e-posta adresleri ve ağ tanımlayıcıları maskelenmiştir.