中信證券:Kimi長文本模型對行業意味着什麼?

(原標題:前瞻|Kimi長文本模型對行業意味着什麼?)

文|陳俊雲  賈凱方  劉銳  高飛翔

近期月之暗面旗下對話類模型Kimi迎來重大升級,支持200萬字超長文本輸入和更復雜指令,引發市場關注。此次升級刷新了業界文本輸入長度紀錄,充分展現了Kimi在工程優化和算法設計方面的突出實力。長文本處理能力的突破,爲Kimi在多模態融合、Agent任務處理等方面奠定了堅實基礎。我們判斷,超長文本支持已成爲大模型多模態升級的關鍵前提。在Kimi示範效應下,越來越多廠商有望效仿其技術路線,加大研發投入,推動長文本處理在今年內成爲行業標配。隨着多模態理解能力的提升,AI有望在UGC內容understanding、複雜任務處理等場景實現新突破,爲產業智能化升級注入新動力。我們看好Kimi引領的這輪大模型技術革新浪潮,同時隨着對超長文本、多模態數據的支持需求提升,我們預計軟硬件基礎設施將迎來新一輪升級,以滿足海量非結構化數據的存儲和計算需求。因此,我們持續看好AI算力賽道的投資機會,特別是商業應用加速落地背景下,推理側算力有望實現快速增長。

▍事件背景:

北京時間3月18日,月之暗面旗下對話類模型Kimi迎來重大升級,支持200萬字的長文本處理和更復雜指令,引發市場強烈反響。Kimi Chat作爲專注長文本處理的對話助手,憑藉20萬漢字的超長上下文和優秀性能,自去年10月發佈以來持續受到市場青睞。今年2月的功能升級進一步增強了網站與多問題搜索能力,帶來更佳用戶體驗。Similarweb數據顯示,Kimi Chat網頁端訪問量近期屢創新高,峰值達34.6萬人次。據AI產品榜統計,2月份Kimi Chat國內訪問量排名第三,日活躍用戶同比翻倍,全球增速位列第一。在本次3月份的長文本版本更新後,數據顯示最新周訪問量創新高,3月18日-3月24日訪問量243萬,環比增加45%。

▍Kimi主要突破:支持長文本輸入,更強的工程與成本控制能力。

大模型的輸入文本長度是一個重要的工程挑戰。隨着輸入序列長度的增加,模型推理過程中注意力層的計算時間呈指數級增長。以Llama-7b模型爲例,處理100萬字的輸入需要數分鐘之久。因此,更長的上下文窗口不僅意味着模型具備更強大的基礎能力,還需要在工程實現上進行特殊優化,並將成本控制在合理水平。橫向比較當前市場上的大語言模型,GPT-4支持3.2萬字Tokens輸入,Gemini公開版本支持13萬字,而Kimi的200萬字上下文長度無疑刷新了現有的最高紀錄。爲實現更優的長文本無損壓縮性能,月之暗面在發佈會上透露,其研發團隊從模型預訓練、對齊到推理的各個環節進行了原生級的重新設計和開發,摒棄了“滑動窗口”和“降採樣”等折中方案,攻克了諸多底層技術難題,才取得了這一突破性進展。我們認爲,Kimi展現的超長文本處理能力印證了其在工程和算法優化方面過硬實力。

▍市場影響判斷:多模態能力升級的必然前提,將引起更多廠商效仿。

Kimi將輸入文本長度拓展至200萬字,絕非爲刷新紀錄而作出的簡單改動。長文本處理能力直接決定了模型的多模態融合水平,是構建能處理複雜任務的AI Agent的必要基礎。相較於純語言模態,圖像、視頻等非結構化數據蘊含的信息更爲豐富,需要更長的上下文才能有效表徵和理解。因此,超長文本輸入已成爲支持多模態處理的基本前提。從技術實現角度看,長文本處理主要涉及工程優化和成本控制兩大挑戰。我們預計,在Kimi的示範效應下,越來越多廠商將效仿其超長文本處理的思路,加大在算法架構、數據壓縮、推理加速等方面的研發投入。隨着業界的技術積累和創新突破,長文本支持有望在今年內成爲大模型的標準配置。

▍風險因素:

AI核心技術發展不及預期風險;科技領域政策監管持續收緊風險;私有數據相關的政策監管風險;全球宏觀經濟復甦不及預期風險;宏觀經濟波動導致歐美企業IT支出不及預期風險;AI潛在倫理、道德、用戶隱私風險;企業數據泄露、信息安全風險;行業競爭持續加劇風險等。

▍投資策略:

本次月之暗面更新的Kimi長文本版本取得了實質性技術突破,將輸入文本長度的上限提升至200萬字,刷新了當前業界的最高紀錄。我們認爲,Kimi的這一進展將引領大模型廠商掀起新一輪技術革新浪潮。長文本輸入能力是實現多模態處理的關鍵前提,而多模態內容,尤其是視頻和圖像的UGC(用戶生成內容),仍然是AI應用層面的核心增長點。從技術實現角度看,長文本處理主要受限於工程優化和成本控制能力。隨着業界對超長文本的支持需求不斷提升,我們預計硬件基礎設施也將隨之升級,以滿足海量文本數據的存儲和計算要求。因此,我們持續看好AI算力層面的投資機會,特別是在商業應用日趨成熟的背景下,推理側算力有望迎來更大的增長空間。