Çeviren: Cem Oran
Hafta başında PLOS Biology dergisinde yayımlanan çalışma, epileptik nöbet takibi için halihazırda beyin yüzeyine posta pulu boyutunda elektrot dizileri yerleştirilmiş 29 katılımcıdan alınan verilere dayanıyor. Katılımcılar Pink Floyd’un 1979 tarihli “Another Brick in the Wall, Part 1” parçasını dinlerken elektrotlar, ton, ritim, uyum ve şarkı sözleri gibi müzikal öğelere uyum sağlayan çeşitli beyin bölgelerinin elektriksel aktivitesini kayda aldı. Elde edilen verilerin analizi için makine öğrenimi tekniklerinden yararlanan araştırmacılar, katılımcıların duyduklarının anlaşılır bir kaydını yeniden oluşturdu.
Sinirbilimciler, insanların gördüklerini, duyduklarını veya düşündüklerini yalnızca beyin aktivitelerinden yola çıkarak çözümlemek için on yıllardır çalışıyorlar. 2012’de, bu yazıda bahsi geçen çalışmanın kıdemli yazarının (Berkeley’deki Kaliforniya (California) Üniversitesi’nden bilişsel sinirbilimci Robert Knight) da dahil olduğu bir ekip, yine elektrotlar yardımıyla katılımcıların duydukları kelimelerin ses kayıtlarını başarılı bir şekilde yeniden oluşturmayı başarmıştı. O zamandan bu yana, benzer tekniklerden yararlanan başka ekipler de katılımcılar tarafından yakın zamanda izlenen veya hayal edilen insan yüzleri ve manzara fotoğrafları gibi görselleri yeniden üretmeyi başardılar. Ancak Knight ve meslektaşları tarafından gerçekleştirilen bu yeni çalışma, müziği yeniden sentezlemek için beynin dinlenebileceğini ortaya koyan ilk çalışma oldu.
San Francisco Kaliforniya Üniversitesi’nden sinirbilimci Shailee Jain, “Bu heyecan verici bulgular, beyin aktivitesinden düz konuşmanın yeniden yapılandırıldığı önceki çalışmalara dayanıyor” diyor ve ekliyor, “Artık, sesi ortaya çıkarmak için gerçek anlamda beynin içini kazabiliyoruz”.
Ekibin katılımcılara dinletmek için neden Pink Floyd’u ve özellikle de “Another Brick in the Wall”u seçtiğinin hem bilimsel hem de bilimsel olmayan iki yanıtı var. Bilişsel sinirbilimci ve çalışmanın baş yazarı Ludovic Bellier, “Bilimsel sebep, makalede de bahsedildiği gibi, şarkının çok katmanlı olması. Karmaşık akorları, farklı enstrümanları ve farklı ritimleri analiz sürecini ilginç hale getiriyor” diyor. “Daha az bilimsel sebep ise, Pink Floyd’u gerçekten sevmemiz olabilir”.
Çalışmada toplanan verileri müziğe dönüştürme sürecinde yararlanılan algoritma iki makine öğrenmesi modelinden oluşuyor. İlk model, şarkının akustik profilinin çeşitli bileşenlerine beynin verdiği tepkideki kalıpları analiz ederek perde, ritim ve tondaki değişiklikleri ayırıyor. İkinci model ise, bu ayrık parçalardan yola çıkarak müziği yeniden yapılandırmaya çalışıyor. Bu yöntemle, algoritma bir kez beyinden toplanan verilerle beslendikten sonra, dinletilen müzik ana hatlarıyla yeniden oluşturulabiliyor. Tabii elde edilen çıktının orjinal müziğin kusursuz bir kopyası olmaktan çok uzak olduğunu belirtmek gerek. Ancak ne dinlediğini bilen biri için duyulan çıktının oldukça açık olduğu söylenebilir: “Sonuçta, duvardaki bir tuğladan başka bir şey değil”.
Araştırmacılar, beyin yüzeyine yerleştirilen elektrotları sıklığını arttırarak yeniden oluşturulan müziğin daha net ve anlaşılır hale getirilebileceğini düşünüyorlar. Knight’ın belirttiğine göre, bu çalışmada ortalama 5 milimetre aralıklarla yerleştirilen elektrotların 1 ila 0.5 milimetre aralıklı olacak şekilde yerleştirilmesi mümkün. Geçen yıl San Diego’daki Kaliforniya Üniversitesi’nden bir ekip, beyin sinyali bilgilerini mevcut cihazlardan 100 kat daha yüksek bir çözünürlükte sunan, yoğun bir şekilde paketlenmiş bir elektrot ızgarası geliştirdi. Knight, “Bugün bir şarkıyı yeniden oluşturduk, belki yarın bütün bir Pink Floyd albümünü yeniden oluşturabiliriz” diyor.
Çalışma müziğe odaklanmış olsa da, araştırmacılar elde ettikleri bulguların en çok beyin dalgalarını insan konuşmasına çevirmede yararlı olmasını bekliyorlar. Konuşma, hangi dilde olursa olsun tempo, vurgu, aksanlar ve tonlama gibi melodik nüanslar içerir. Bellier, “Prozodi dediğimiz bu unsurlar, yalnızca kelimelerle iletişim kuramayacağımız anlamlar taşır” diyor. Modelin konuşmayla ilişkili beyin verisinden yararlanarak amaçlanan mesajları yeniden oluşturmaya imkân veren yardımcı cihazların (beyin-bilgisayar arayüzü de denebilir) geliştirilmesine katkı sunacağını umuyor. Henüz emekleme aşamasında olan bu teknolojinin, inme veya felç gibi durumlar nedeniyle konuşma yetisini kaybetmiş insanlara büyük yardımı olabilir.
Jain, benzer modellerin katılımcıların duydukları müzikten hayali iç konuşmaya kadar geniş bir yelpazede sonuç verip vermeyeceğine odaklanılması gerektiğini söylüyor. “Bu bulguların (farklı alanlara) taşınabileceğini umuyorum çünkü bir kelimeyi fiziksel olarak seslendirmekle o kelimeyi söylediğini hayal etmek benzer beyin bölgelerini devreye sokuyor” diyor. Bir beyin-bilgisayar arayüzü, müzikte bulunan doğal prozodi ve duygusal ağırlığı da katarak birinin konuşmasını yeniden yaratabiliyorsa, sözcüklerden çok daha fazlasını yeniden oluşturabilir. “Robotik şekilde ‘Ben. Seni. Seviyorum,’ demek yerine ‘Seni seviyorum!’ diye haykırabiliriz” diyor Knight.
Ancak bu teknolojiyi hastaların hizmetine sunmanın önünde birkaç engel var. Bir kere, model doğrudan beyin yüzeyinden alınan elektrik kayıtlarına dayanıyor. Beyin kayıt teknikleri geliştikçe, bu verileri cerrahi implantlar olmadan toplamak mümkün olabilir –belki de bunun yerine kafa derisine takılı ultra hassas elektrotlar kullanılarak. Diğer bir mesele de süre. Şu anki teknolojide katılımcıların kafalarında hayal ettikleri harfleri tanımlamak için harf başına yaklaşık 20 saniye gibi bir süre gerekiyor. Doğal konuşmada dakikada ortalama 125 kelime sarf ettiğimiz düşünüldüğünde oldukça yavaş.
