NVIDIA AR SDK, Standart Web Kamerası Üzerinden Yüz Algılamaya İzin Veren Popüler OBS Eklentisi StreamFX'te Başladı

NVIDIA, Canlı Akış, Oyun ve Video Konferans platformları için optimize edilmiş, merakla beklenen Artırılmış Gerçeklik (AR) Yazılım Geliştirme Kitini (SDK) resmi olarak piyasaya sürdü. Teknoloji, son derece popüler bir OBS Eklentisi olan StreamFX'te piyasaya sürüldü. Teknoloji, hepsi standart bir web kamerası kullanarak, yüzleri algılama ve kilitleme ve bir yüzün 3B ağını oluşturma gibi bazı şaşırtıcı yetenekler vaat ediyor.

NVIDIA, Yapay Zeka (AI) yeteneklerini giderek daha popüler hale gelen ve yaygın olarak kullanılan uzaktan web konferansı, iletişim ve işbirliği araçlarına getiren Canlı Akış için AR SDK'yı tanıttı. Teknolojinin oyunculara da yardımcı olduğu iddia ediliyor. NVIDIA, şaşırtıcı bir şekilde, kullanıcıların standart bir web kamerası ile yapay zekanın eklenmesinden faydalanabileceğini iddia ediyor.

Canlı Akış İçin NVIDIA AI AR SDK Nasıl Çalışır?

Beklendiği gibi, NVIDIA RTX Yayın Motoru olarak da bilinen NVIDIA AR SDK, NVIDIA RTX GPU'lardaki güçlü ve çok yönlü Tensor Çekirdeklerini kullanır. SDK, geçen yıl başlatılan özel bir arka uç, bulut tabanlı AI ağı aracılığıyla hızlı ve bildirildiğine göre yüksek kaliteli izlemeyi etkinleştirebilir. NVIDIA, teknolojinin ve ağın doğru yüz izleme sağlayabileceğini iddia ediyor; yüz şekli, dudaklar, gözler, kaşlar ve burnun 3 derecelik serbestlikle yüzün dönüm noktası takibi; ve 6 serbestlik dereceli gelişmiş bir yüz örgüsü (bir insan yüzünün ve baş duruşunun 3 boyutlu yeniden yapılandırması).

Canlı Akış için NVIDIA AI AR SDK, OBS (Açık Yayıncı Yazılımı) için popüler bir eklenti olan StreamFX aracılığıyla piyasaya sürüldü. AR SDK artık GitHub'da mevcuttur. İlgilenen geliştiriciler, NVIDIA’nın web sitesinden de indirerek aynısından yararlanabilir.

StreamFX'in yeni sürümü, kullanıcıyı otomatik olarak kırpan ve yakınlaştıran ve hareket ettiklerinde karede merkezde tutan akıllı bir kamera oluşturmak için SDK'yı kullanır. StreamFX Yazarı, heyecan verici yeni gelişme hakkında konuşan Michael Fabian "Xaymar" Dirks,

“StreamFX'teki yeni Yüz İzleme filtresi, birçok makinede çalışmak için ayarlanması yıllar olmasa da aylar sürecek karmaşık matematik ve makine öğrenimi gerektiriyordu. Bununla birlikte, NVIDIA’nın AR SDK'sı sayesinde hiçbir zaman yapılmadı ve üzerindeki NVENC H.264 kodlayıcı sayesinde giderek daha yaygın hale gelen herhangi bir NVIDIA RTX donanımı üzerinde çalışıyor. Bu, gerekli geliştirme süresini yıllardan sadece iki haftaya düşürdü ve hiçbir ek maliyet olmadan. "

Fabian'ın açıkça ima ettiği şey, geliştiricilerin artık NVIDIA'nın AI tabanlı AR ile birden çok platformun yeteneklerini ve özelliklerini önemli ölçüde artırmak için sunduğu güçlü bir SDK'ya sahip olduğuydu. Eklemeye gerek yok, oyun geliştiricileri, canlı konferans ve canlı yayın platformları NVIDIA platformundan büyük ölçüde kazanç sağlayacak şekilde ayarlandı. Basitçe özetlemek gerekirse, yapay zekanın gücünü Canlı Yayına getiren NVIDIA AR SDK, aşağıdaki özellikleri standart bir web kamerası aracılığıyla genişletir:

Bir görüntüdeki bir veya birkaç özneyi tanımlamak için kameradaki yüzleri takip etme,
İnsanlara kostüm veya efekt koymak için varlıkları bir kişinin üzerine yerleştirmek,
Yüz ve kafa hareketlerinizle bir animasyon veya oyun karakterini kontrol etme.

NVIDIA'nın AR SDK'sını açık beta platformu olarak sunduğunu unutmamak önemlidir. Bu açıkça, geliştiricilerin birkaç hata beklemesi gerektiği ve platformda daha fazla ince ayar yapmak için aynısını NVIDIA'ya bildirmeleri gerektiği anlamına geliyor.