Oyun konsollarını sadece televizyon karşısında oyun oynamak için kullanılan kapalı kutular olarak görme dönemi yavaş yavaş geride kalıyor. Donanım meraklıları ve geliştiriciler, konsolların güçlü mimarisini sınırlarına kadar zorlamayı her zaman sevmiştir. Bu kez sahneye çıkan bir geliştirici, jailbreak yapılmış bir PlayStation 5 üzerinde tam 27 milyar (27B) parametreli devasa bir büyük dil modelini (LLM) çalıştırmayı başardı. Üstelik bunu yaparken pahalı sunucu kartlarına ihtiyaç duymadan, konsolun kendi donanım sınırlarını akılcı optimizasyonlarla aşarak dikkat çekici bir mühendislik örneği sergiledi.
Bellek Duvarını Aşmak: llama.cpp ve Mesa Sürücüleri
Normal şartlarda bu ölçekteki bir yapay zekâ modelini yerel olarak ayağa kaldırmak 50 GB’ın üzerinde devasa bir bellek gerektiriyor. Geliştirici, PS5’in sınırlı belleğini aşabilmek için popüler açık kaynaklı llama.cpp projesini temel alıp Vulkan API ve Mesa sürücülerinden faydalandı. Konsolun doğrudan RAM miktarını fiziksel olarak artırmak mümkün olmadığı için, grafik işlem birimi (GPU) üzerindeki bellek kullanım verimliliği optimize edildi ve kullanılabilir alan 6 GB seviyesinden 11.4 GB’a kadar çıkarıldı. Bununla da yetinilmeyip 16-bit hassasiyetteki model parametreleri 2-bit seviyesine kuantize edilerek model boyutu 6.8 GB civarına kadar sıkıştırıldı.
Şaşırtıcı Verimlilik: 54 Derecede Sessiz ve Hızlı
Elde edilen test sonuçları, bir oyun konsolunun bu alanda neler yapabileceğini fazlasıyla kanıtlıyor. 27B modelde saniyede yaklaşık 21 token üretim hızına ulaşılırken, daha küçük modellerde bu değer 124 token/saniye seviyelerine kadar tırmandı. İşin en etkileyici kısmı ise sistemin kararlılığı: Test sırasında GPU %100 yük altındayken bile konsol sadece 86W güç tüketti ve sıcaklık 54 derecede sabit kaldı. Elbette jailbreak işlemi cihazı garanti dışı bırakma, sistem kararsızlığı ve güvenlik açıkları gibi ciddi riskleri beraberinde getiriyor; fakat bu deney, gelecekte konsolların yerel yapay zekâ asistanlarına nasıl ev sahipliği yapabileceğine dair çok net bir tablo sunuyor.
Tüm bu tablo, PS5 gibi güçlü bir donanımın kapalı kutu mantığının meraklı geliştiriciler sayesinde nasıl esnetilebileceğini bir kez daha kanıtlıyor. Gelecekte belki de oturma odamızdaki PS5, sadece oyun yüklerimizi sırtlamakla kalmayıp tamamen çevrimdışı çalışan akıllı asistanları ve kişisel üretken araçları çalıştıran yerel bir merkeze dönüşecek. Şimdilik bu tarz modifikasyonlar garanti kaybı ve teknik riskler nedeniyle son kullanıcıya önerilmese de, Sony’nin yeni nesil güncellemelerde PS5 donanımının bu gizli potansiyelini nasıl değerlendireceği
