清大研發仿視神經AI晶片 教無人機「果蠅式」飛行

▲清大電機教授鄭桂忠(右)與系神所教授羅中泉跨域合作研發仿生AI晶片。(圖/清大提供,下同)

記者陳凱力/新竹報導

無人機在通訊及農業等領域應用愈來廣泛,但小小的機體卻因電力等問題難以負載長時間的大量運算。由清華大學鄭桂忠、羅中泉等電機、生科教授組成的跨領域團隊果蠅取經,研發仿生物視覺神經的AI晶片,讓無人機以超省電狀態自動閃避障礙物飛行,未來還可應用在無人車、智慧眼鏡、機器手臂等領域。

▲清大電機系教授鄭桂忠以手勢操作AI無人機飛行。

無人裝置過去多利用發射並接收反射的電磁波、紅外線等來避開障礙物,相當耗電,且若許多裝置同時運作也易互相干擾。因此科學家想到用光學鏡頭來拍攝並分析影像來避障,但需要處理的影像資訊量太大,速率難以提升,且仍十分耗電。

電腦跑不動、辦不到的,爲什麼小小的果蠅卻能輕易做到?牠們飛行時可從來不會撞上東西。」專研仿神經系統的清華大學電機系教授鄭桂忠認爲,要突破目前AI人工智慧發展的限制,一定要向生物取經,於是找上研究果蠅大腦的系統神經科學研究所教授羅中泉,師法果蠅的視神經系統,研發出仿昆蟲視覺的省電、高效率AI晶片。

▲清大跨域團隊研發仿生AI晶片,可透過手勢操作無人機。

學習重點一:只看重點 節省資源

要讓無人機學會像果蠅一樣避障飛行,首先要解決電腦負荷資訊量太龐大問題。動態視覺每秒約有30幀畫面,如看到的每幀畫面都要分析處理,不僅沒效率,可能幾分鐘就沒電了。鄭桂忠說,現在的相機、手機鏡頭動輒都是上千萬像素,但果蠅的眼睛大約只有8百像素,牠的大腦在處理收到的輪廓、對比等視覺訊號時,會自動過濾掉不重要的資訊,也就是所謂的「注意力機制」;如在飛行時忽略不動的山川建築,只把焦點集中在會移動、且快撞上來的物體

研究團隊也把這項「注意力機制」應用在AI晶片上,運用手勢來操作無人機飛行。鄭桂忠把手掌張開,比出5的手勢,無人機即向前飛,比出2的手勢,無人機就會停下來,「電腦只要識別手指邊緣的輪廓,而不需要處理整隻手的顏色指紋等細節,就可節省大量的運算資源。」

▲清大系神所教授羅中泉研發出仿果蠅視覺神經模型網路

學習重點二:觀察光流 查知距離速度

教會無人機飛行時只「看」重點以後,還要教它學會判斷迎面而來的物體遠近、會不會撞上?由中研院院士江安世領導的清華大學腦科學研究中心是全球第一個解構果蠅大腦神經圖譜的研究機構,在這個基礎上,羅中泉深入研究果蠅如何偵測「光流」的秘密。羅中泉解釋,「光流」就是生物移動時周遭景物在視野中所留下的相對運動軌跡,大腦可藉由分析光流來了解周遭物體的距離;應用在無人機上,就能在飛行時避開障礙物。

羅中泉指出,小型無人機無法攜帶沉重或高耗能的裝置,因此過去採用聲納或雷達的避障方式都不適合。雖然也有人發展以分析光流來避障的方式,但需要複雜數學演算法並搭配高速CPU,也不適合小型無人機。而仿果蠅視神經偵測「光流」所開發出的AI網路只要用數十個神經元,就可取代需要大量CPU運算的傳統數學演算法,達到高效避障;且只需要1微瓦的電量就能辦到,相當於省下千倍的電量。

▲清大系神所教授羅中泉研究果蠅視覺與空間感,應用於仿神經AI晶片的研發。

學習重點三:同時運算與記憶 提升效率

清華團隊在減少 AI晶片的功耗上還有一項重大突破,就是達到「記憶體內計算」。鄭桂忠指出,無論電腦、手機都需要將資料從記憶體搬移到CPU中央處理器計算,再把運算結果搬回到記憶體儲存,人工智慧深度學習計算高達9成的功耗與時間都浪費在資料搬移。清華團隊研發仿神經元突觸的AI晶片,可以在記憶體內直接進行計算,效率大爲提升。

▲清大系神所教授羅中泉透過模擬環境來觀察果蠅的運動狀態。

跨領域團隊發表多篇論文

清華大學「嵌入式仿神經人工智慧晶片團隊」(ENIAC)成立於2017年,成員包括跨電機、生科領域的7位清華教授,電機系教授鄭桂忠開發仿神經系統、謝志成研發智慧鏡頭、陳新研發仿生系統、呂仁碩負責晶片架構孫民負責模型設計、張孟凡研發記憶體電路,系神所教授羅中泉則專研神經模型。

清華團隊獲得科技部射月計劃、工研院計劃、清華校內競爭型團隊計劃的支持,並與無人機業界龍頭經緯航太產學合作。

經緯航太研發長詹英傑表示,清華仿果蠅視覺神經AI晶片的想法十分創新,因運算速度更快,未來將能幫助無人機更即時處理影像資訊。他表示,經緯航太會將清華仿果蠅視覺神經AI晶片應用在新南向智慧農業計劃,以省電高效率的無人機辨識及掌握農作物生長狀況。

清華團隊的各項研究成果已陸續發表在國際知名期刊,包括《自然》期刊的子刊《自然電子學》(Nature Electronics)、IEEE固態電路期刊(Journal of Solid-State Circuits),並連續3年在被譽爲半導體奧林匹亞的國際固態電路會議(ISSCC) 發表共7篇論文。

▲清大電機系教授鄭桂忠(前排中)與系神所教授羅中泉(前排左二)跨域合作研發仿生AI晶片。

【小百科:仿神經晶片】

傳統可執行運算的晶片(如CPU)是以電晶體、電容、電阻等基本元件組合成邏輯閘,再由邏輯閘組成運算單元與記憶單元等基本單元。仿神經晶片同樣使用電晶體等基本元件,但將這些元件組合成模仿神經細胞功能的神經元;神經元彼此之間連結並形成網路,同時具有運算與記憶的功能,突破了過去控制、運算與記憶單元各自獨立的「馮紐曼架構」。

►點點手指一整天都有好心情

女網友PO「感染者從醫院落跑」 檢察官立馬組專案:一定從嚴從速偵辦

►失竊6500萬現金苦主是「他」 網曝驚人背景!轎車來回4趟才搬完

►N95缺很大!2日漲5倍「一個150元」 網怨:算不算髮災難財?