端側大模型風起,聯發科技宣佈All in AI,發佈天璣9300+芯片丨最前線

作者丨邱曉芬

5 月 7 日,聯發科技(MediaTek)舉辦天璣開發者大會 2024。這也是聯發科技董事、總經理陳冠州口中,“第一次這麼大規模的AI產業生態大會”。

從整場大會可以看出,聯發科技大有All in AI的趨勢,從芯片、軟件工具、生態多方面着手。

在芯片層面,聯發科此次發佈了全新的「天璣9300+核心處理器」。值得注意的是,這顆芯片依舊主打AI能力——在端側支持雙LoRA融合技術,這意味着開發者們能在一個大模型的基礎上,疊加雙倍的功能,生成式AI的效率更高。

此外,天璣 9300+也支持當下主流的生成式 AI大模型,支持圖像、文字、音樂等,還支持AI框架 Execu Torch,加速開發者藉助端側生成AI的開發進程。在發佈會上演示時,聯發科技用天璣 9300+芯片,在端側跑了Llama 2的 7B大模型,僅僅使用了22tokens/秒。

在過去一段時間裡,聯發科技對端側大模型在手機的落地發起了進攻。去年 11月份推出的天璣 9300 已經得到了OPPO、vivo主流手機廠商旗艦系列的認可,在彼時那顆芯片上,聯發科技開始在soc裡面集成了能提高計算效率、降低計算功耗的的APU,把計算的任務從GPU分流到 APU上。

在這幾次的AI突圍後,此前聯發科技方面也表示,其今年的AI芯片出貨量將突破千萬片大關。

除了芯片單一產品之外,此次聯發科技還在軟件上下了功夫。陳冠州表示,在構建端側AI的生態上,更好的方式其實是將原有的智能生態轉化成生成式AI,而不是重新從0開始造一套生態。據他判斷,生成式 AI在手機上將在三個方面率先落地——智能出行、遊戲、新的交互體驗。

不過,由於生成式AI尚且處於起步期,而終端硬件各式各樣,互相移植的難度太大,要在端側運行大模型,目前也缺乏開發工具。

爲此,聯發科技還發布了一個「天璣AI開發套件」。據聯發科技方面介紹,這個套件的特點是更快更全,將通過模型的量化、編譯、推理等技術,加速大模型部署,部署時間從一週減少到一天;此外,還覆蓋全球主流大模型的GenAI Model Hub,提供一站式視覺化開發環境。

目前,天璣AI開發者套件已覆蓋智能手機、智能汽車、物聯網、個人電腦等智能終端設備。

除了芯片和工具上的新動作,此次聯發科技也官宣了不少生態夥伴的合作關係。比如,此次聯發科方面宣佈與阿里雲旗下通義千問 AI Agent(智能體)進行端側合作。

此次,聯發科技方面還宣佈了與百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米啓動“天璣AI先鋒計劃”,將整合產業生態夥伴資源爲開發者提供開發資源、技術支持和商業機會,幫助開發者在搭載天璣芯片的終端設備上打造新的用戶體驗。