看到照片你能聽到什麼?AI系統幫圖片配對聲音

▲一開始是透過 Google 街景來配對聲音。(圖/翻攝 nips2017creativity)

記者黃肇祥綜合報導

想像力就是你的超能力美麗照片會讓我們自然陷入情境之中,彷佛身歷其境並且能想像畫面裡頭的環境聲音。日本的 AI 研究人員將試着將人類的想像力,透過 AI 系統製作出來,讓人工智慧幫每一張圖片產生獨一無二的聲音。

「Imaginary Soundscape」是由東京大學三名教授協力研究的成果網頁運用機器學習,幫圖片加上音效。AI 並沒有實際探訪,或是自行創造音樂,而是採用物體辨識的機制,判斷出圖片上的物件是什麼,在將物件與擁有 52,000 個檔案的的聲音數據庫進行配對。

記者實際操作下列三張照片,結果如下:

▲儘管是貓咪的照片,但 AI 卻與蚊子蜜蜂嗡嗡作響的聲音進行配對。(圖/記者黃肇祥攝,以下皆同)

▲這張高速公路拍攝的照片,則因藍天似乎被判定爲海邊?系統給出海浪拍打的聲音,不過記者實測相同的取景,另外一張照片確實有出現重機奔馳的聲音。

陽明山繡球花,AI 給出鳥叫蟲鳴配樂,確實與照片非常適合,彷佛置身於山林之中。

該網頁最早於今年 1 月推出,目標是將 Google 街景與音檔進行配對,現在則進一步開始判別單一照片,目前系統與音樂資料庫都不盡完美,沒辦法有效判別所有照片,但這卻以簡單的方式,展現 AI 的應用。讀者們可以試試看,不同照片會出現什麼樣的聲音喔!