Oxford Üniversitesi araştırmacıları ve mühendislerinden oluşan EXO Labs ekibi, teknoloji dünyasında ses getiren bir başarıya imza attı. Yalnızca 128 MB RAM ve 350 MHz hızında bir Pentium II işlemciye sahip, 1998 yılına ait eski bir Windows 98 bilgisayarda bir yapay zeka modelini çalıştırmayı başardılar.
LLAMA2.C TABANLI DİL MODELİNİ ÇALIŞTIRDILAR
EXO Labs ekibinin sosyal medya platformu X'te paylaştığı videoda, zamanın tozlanmış bir Elonex Pentium II bilgisayarında, "Llama2.c" tabanlı bir dil modelinin başarıyla hikaye oluşturma komutunu yerine getirdiği görüldü. Üstelik model, düşük donanım özelliklerine rağmen hız açısından tatmin edici bir performans sergilemiş.
Öte yandan bu başarıyı mümkün kılmak kolay olmadı. Eski bir işletim sistemi üzerinde modern bir dil modelini derleyip çalıştırmak, ekip için en büyük zorluklardan biriydi. Ancak EXO Labs, bu engeli aşarak 260 bin parametreli bir LLaMA modelini saniyede 39.31 token işleme hızında çalıştırmayı başardı.
Daha büyük modellerle yapılan testlerde ise performans düşüşü yaşandı. Örneğin, 1 milyar parametreli bir model yalnızca saniyede 0.0093 token hızına ulaşabildi. Bunu da bir başka deyişle, YouTube'da 1 saatlik videoyu 0,25 hızda video izlemek gibi düşünebilirsiniz.
BİTNET TEKNOLOJİSİNİ GELİŞTİRİYORLAR
EXO Labs, ayrıca "BitNet" adlı bir transformer mimarisi üzerinde çalışıyor. Bu teknoloji, model boyutlarını küçültmek için üçlü ağırlıklar (ternary weights) kullanarak, büyük modellerin daha düşük donanımlarda çalışmasını sağlıyor. Örneğin 7 milyar parametreli bir model, sadece 1.38 GB depolama alanında çalıştırılabiliyor.
BitNet'in en dikkat çekici özelliği, yalnızca CPU ile çalışmak üzere tasarlanması. 100 milyar parametreli bir modeli bile tek bir CPU üzerinde saniyede 5-7 token işleme hızında çalıştırabiliyor.
