NVIDIA'nın yeni AI sohbet robotu bilgisayarınızda yerel olarak çalışır

NVIDIA'nın yeni AI sohbet robotu bilgisayarınızda yerel olarak çalışır

NVIDIA, bilgisayarınızda yerel olarak çalışan bir sohbet robotunun ücretsiz demo sürümünü yayınladı.

Bu, sohbet robotunun dosyalarınıza ve belgelerinize erişmesini sağladığı için oldukça hoş. Chat with RTX'e kişisel verilerden oluşan bir seçki besleyebilir ve bu bilgilere dayanarak özetler oluşturmasını sağlayabilirsiniz. Ayrıca herhangi bir sohbet robotu gibi ona sorular sorabilir ve yanıtlar için verilerinize dalabilirsiniz.

Şirket, kullanıcıların "bir PC'deki yerel dosyaları bir veri kümesi olarak Mistral veya Llama 2 gibi açık kaynaklı büyük bir dil modeline hızlı ve kolay bir şekilde bağlamasına" olanak tanıdığını söylüyor. NVIDIA, bir kullanıcının chatbot'a Las Vegas'tayken partnerinin önerdiği bir restoran hakkında soru sormasının bir örneğini veriyor. Yazılım, cevabı bulmak için yerel dosyaları tarar. .txt, .pdf, .doc/.docx ve .xml dahil olmak üzere çok sayıda dosya formatını destekler. Şirket, ilgili dosyaları "saniyeler içinde" veri kümesine yükleyeceğini söylüyor.

RTX ile sohbet aynı zamanda YouTube videolarını ve oynatma listelerini de entegre eder. Veri kümesine bir video URL'si ekleyebilirsiniz; bu, bağlamsal sorgular için klipte yer alan bilgiyi entegre edecektir. NVIDIA, bunun "favori fenomen videolarının içeriğine dayalı olarak" seyahat önerileri isterken veya eğitim kaynaklarından elde edilen eğitimleri ve özetleri ararken yararlı olacağını söylüyor.

Verge, sohbet robotuyla biraz pratik yaptı ve etkilenerek onu "gazeteciler veya bir belge koleksiyonunu analiz etmesi gereken herkes için veri araştırmasının değerli bir parçası" olarak görebileceklerini yazdı.

Bu, kişisel verilerinizin bağlamsal çerçevesi içinde çalışan gerçek bir dijital asistana benzeyen bir şeye doğru büyük bir adım gibi görünüyor. Çoğu sohbet robotunda veriler buluta gönderilir, ancak RTX ile Sohbet "kullanıcıların hassas verileri üçüncü bir tarafla paylaşmaya veya internet bağlantısına gerek kalmadan yerel bir bilgisayarda işlemesine olanak tanır." Yani daha güvenli ve bağlamsal olarak daha bilinçli.

Bazı sınırlamalar var. Bu bir demo ürünüdür, bu nedenle çok sayıda hata beklemelisiniz, ancak kullanıcılar hata raporları ve benzerleri yayınlamaya başladığında NVIDIA'nın bunları ortadan kaldırmaya başlaması gerekir. Burada ayrıca bazı katı donanım sınırlamaları da vardır. RTX ile sohbet yalnızca NVIDIA GeForce RTX 30 Serisi GPU'lara veya üzeri ve en az 8 GB VRAM'e sahip Windows PC'lerde çalışır.

NVIDIA, şirketin yeni nesil yapay zeka süper bilgisayar çiplerini piyasaya sürmesiyle son zamanlarda yapay zeka yeteneğini gerçekten gösteriyor. Öncelikle şirketin yapay zeka ve veri merkezi segmentleri nedeniyle kesinlikle karda yüzüyor.