Yapay zeka Amerikan işaret dilini analiz edecek
Syracuse Üniversitesi ve Rochester Teknoloji Enstitüsü’nden bir grup araştırmacı Amerikan işaret dilini yapay zeka yardımıyla analiz edecek.
13 Nisan 2022 - 19:37
İşitme engellilere yönelik çalışmalar yürüten araştırma görevlisi Naomi Caselli ve araştırma takımı, Amerikan İşaret Dili’nde (ASL) algılamanın zor olduğu işaretlerin (nadir olan veya seyrek el şekillerine sahip işaretler), insanların işaret algılama sırasında sıklıkla baktığı bölge olan işaretçinin yüzüne yakın bir yerde yapıldığını keşfetmişler. Bunun aksine yaygın olan ve daha rutin el şekillerine sahip işaretler, yüzden uzakta ve algılayan kişinin çevresel görüş alanında yapılıyor. Boston Üniversitesi Eğitim & İnsan Gelişimi Bölümünde yardımcı profesör olan Caselli’ye göre bulgular, ASL’nin insanların işaretleri daha kolay algılaması için evrimleştiğini gösteriyor. Sonuçlar Cognition bülteninde yayımlandı.
Refik B. Hariri Bilişim ve Bilişim Bilimleri & Mühendislik Bölümüne bağlı Yapay Zeka ve Eğitim Girişimi Bölümünün de eş başkanı olan Caselli, “Bir kelimeyi ne zaman kullansak, kelime biraz değişiyor” diyor. “Nadir el şekillerine sahip kelimeler, uzun zaman dönemlerinde yüzün yakınında yapılacak şekilde ve bu sayede algılayıcının daha kolay görüp tanıyabileceği biçimde evrimleşmiş. Dilin evrimini incelemek zor olsa da, dillerin zamanla nasıl değişebileceğine dönük tahminler yürütebilir ve bu tahminleri dilin şimdiki fotoğrafıyla test edebilirsiniz” diyor Caselli.
Caselli, Syracuse Üniversitesi ve Rochester Teknoloji Enstitüsünde çalışan araştırmacılarla beraber, dünyanın en büyük interaktif ASL veri tabanı olan ASL-LEX’te yer alan 2.500’ü aşkın işaret videosunun analiz edildiği bir yapay zeka aracının da yardımıyla ASL’nin evrimini incelemiş.
“Vücuttaki anahtar noktaların nerede olduğunu anlamak için, videoları bilgisayar görüşünün kullanıldığı bir makine öğrenim algoritmasına gönderdik” diyor Caselli. “Daha sonra, işaretlerin her birinde ellerin yüze göre nerede durduğunu çözmeyi başardık.” Araştırmacılar sonrasında bu bilgileri, (Hariri Enstitüsü Yazılım & Uygulama Yenilik Laboratuvarının yardımıyla oluşturulan) ASL-LEX’teki işaret ve el şekillerinin ne kadar sık kullanıldığına dönük verilerle eşleştirmiş. Örneğin, çocuklar için kullanılan işaret gibi (düz ve açık bir el kullanılıyor) yaygın el şekillerinin kullanıldığı pek çok işaretin, nadir el şekillerinin kullanıldığı işaretlere (ışık için kullanılan gibi) kıyasla yüzden daha uzakta yapıldığını bulmuşlar.
İşaret dillerinin nasıl işlediğini anlamanın işitme engellilere dönük eğitimin iyileştirilmesine yardımcı olabileceğini düşünen Caselli, son bulguların insan dillerindeki çeşitliliğe ve insan zihninin sıradışı kabiliyetlerine dikkat çekmesini de umuyor. “Sadece konuşulan diller üzerinde çalışırsak, genel olarak dil ile alakalı olan şeyleri işitsel-sözlü tarza özgü şeylerden ayırmak zor olur. İşaret dilleri, tüm dillerin nasıl işlediğine yönelik bilgi edinmek bakımından güzel bir fırsat sunuyor” diyor Caselli. “Şimdiyse yapay zeka ile beraber, büyük miktarda işaret dili videosunu manipüle edebiliyor ve bu soruları deneysel teste tabi tutabiliyoruz.”
Kaynak: Popular Science Türkiye
Refik B. Hariri Bilişim ve Bilişim Bilimleri & Mühendislik Bölümüne bağlı Yapay Zeka ve Eğitim Girişimi Bölümünün de eş başkanı olan Caselli, “Bir kelimeyi ne zaman kullansak, kelime biraz değişiyor” diyor. “Nadir el şekillerine sahip kelimeler, uzun zaman dönemlerinde yüzün yakınında yapılacak şekilde ve bu sayede algılayıcının daha kolay görüp tanıyabileceği biçimde evrimleşmiş. Dilin evrimini incelemek zor olsa da, dillerin zamanla nasıl değişebileceğine dönük tahminler yürütebilir ve bu tahminleri dilin şimdiki fotoğrafıyla test edebilirsiniz” diyor Caselli.
Caselli, Syracuse Üniversitesi ve Rochester Teknoloji Enstitüsünde çalışan araştırmacılarla beraber, dünyanın en büyük interaktif ASL veri tabanı olan ASL-LEX’te yer alan 2.500’ü aşkın işaret videosunun analiz edildiği bir yapay zeka aracının da yardımıyla ASL’nin evrimini incelemiş.
“Vücuttaki anahtar noktaların nerede olduğunu anlamak için, videoları bilgisayar görüşünün kullanıldığı bir makine öğrenim algoritmasına gönderdik” diyor Caselli. “Daha sonra, işaretlerin her birinde ellerin yüze göre nerede durduğunu çözmeyi başardık.” Araştırmacılar sonrasında bu bilgileri, (Hariri Enstitüsü Yazılım & Uygulama Yenilik Laboratuvarının yardımıyla oluşturulan) ASL-LEX’teki işaret ve el şekillerinin ne kadar sık kullanıldığına dönük verilerle eşleştirmiş. Örneğin, çocuklar için kullanılan işaret gibi (düz ve açık bir el kullanılıyor) yaygın el şekillerinin kullanıldığı pek çok işaretin, nadir el şekillerinin kullanıldığı işaretlere (ışık için kullanılan gibi) kıyasla yüzden daha uzakta yapıldığını bulmuşlar.
İşaret dillerinin nasıl işlediğini anlamanın işitme engellilere dönük eğitimin iyileştirilmesine yardımcı olabileceğini düşünen Caselli, son bulguların insan dillerindeki çeşitliliğe ve insan zihninin sıradışı kabiliyetlerine dikkat çekmesini de umuyor. “Sadece konuşulan diller üzerinde çalışırsak, genel olarak dil ile alakalı olan şeyleri işitsel-sözlü tarza özgü şeylerden ayırmak zor olur. İşaret dilleri, tüm dillerin nasıl işlediğine yönelik bilgi edinmek bakımından güzel bir fırsat sunuyor” diyor Caselli. “Şimdiyse yapay zeka ile beraber, büyük miktarda işaret dili videosunu manipüle edebiliyor ve bu soruları deneysel teste tabi tutabiliyoruz.”
Kaynak: Popular Science Türkiye
YORUMLAR