Google'ın Gerçek Zamanlı El İzleme Algoritması, İşaret Dili Tanınmasını İyileştirmek İçin Akıllı Telefon Kullanıyor

İşaret Dili, dünya çapında milyonlarca insan tarafından kullanılmaktadır. Araştırmacılar, jestleri anlayabilen ve bunları otomatik olarak insanın anlayabileceği bir dile dönüştürebilen teknolojiler geliştirmek için çalışıyorlar. Ancak, bu tür projeler doğruluk açısından büyük bir başarı elde edememiştir.

Google yakın zamanda gerçek zamanlı el takibi için kullanılabilecek bir algoritma geliştirdi. Akıllı sistem, bir el haritası oluşturmak için makine öğreniminden yararlanıyor. Harita, bir kamera veya akıllı telefon yardımıyla oluşturulur. Sistemlerin çoğunun hızlı el hareketlerini doğru bir şekilde yakalayamadığı gerçeğini inkar edemeyiz. Google, bu araştırmada bu soruna özel olarak değinmiştir. İlginç bir şekilde, daha önce algoritmalar tarafından işlenen veri miktarını sınırladılar.

Gerçek Zamanlı El Takibi Nasıl Çalışır?

Mevcut projelerin çoğu, tüm elin boyutunu ve konumunu tespit ederek işaret dilini tercüme eder. Bu araştırma ile. araştırmacılar, farklı boyutlardaki dikdörtgen şekilleri kullanma ihtiyacını ortadan kaldırdı. Google'ın sistemi, kare şeklindeki avuç içini tanır. İkinci olarak parmaklar için ayrı bir analiz işlemi yapılır.

Araştırmacılar, makine öğrenme algoritmasını eğitmek için yaklaşık 30.000 el görüntüsü kullandı. Bu görüntüler farklı aydınlatma koşullarında ve pozlarda çekilmiştir. Sistem daha sonra el pozu ile top veya mutluluk gibi bilinen varlıkların listesi arasında bir karşılaştırma yaparak hareketi algılar. Google, bir blog gönderisinde hareket tanımayı açıklar.

Son el izleme algoritması, hızı ve doğruluğu açısından son teknoloji sonuçlar üretir. Algoritma, çalıştırmak için MediaPipe çerçevesini kullanır. Bu teknik, işaret dili alanında büyük bir gelişme gibi görünüyor. Yine de iyileştirme için çok yer var. işaret dilinin daha iyi anlaşılmasını sağlamak için. Daha iyi sonuçlar elde etmek için herkes bu çalışmayı yüz ifadelerini ve iki elini kullanacak şekilde genişletebilir.

Google'dan herhangi bir haber gelmese de Google'ın bu gerçek zamanlı el izleme teknolojisini ürünlerinde kullanmak için iyileştirme olasılığı vardır. Bu arada, kodla oynamak isterseniz, GitHub'da herkese açık olarak mevcuttur.