對於OpenAI新一代模型GPT5,我們能期待什么?

2024-04-19 08:45:57   來源:好新聞   作者: 中信證券研究

作爲當下AI產業矚目的焦點,GPT-5目前正處於紅隊測試階段,預計最快今年夏天面世。作爲最新一代的大語言模型,GPT-5有望在多模態理解、長文本輸入、zero-shot學習等方面樹立新的裏程碑。GPT-5的升級將是一次多方位的全面迭代,其中多模態能力和支持更長文本輸入是最重要的兩個方面。同時在視頻模態處理和超長文本輸入上取得突破,大幅提升模型在復雜認知任務上的表現。預計GPT-5將補齊圖像和視頻模態,實現跨模態的內容生成和理解,同時在長文本處理和長邏輯推理任務上有望取得突破性進展。在模型算法與架構上,預計GPT-5將繼續採用MoE架構,參數規模或將達到數百萬億,對訓練數據質量和規模的要求也將大幅提高。預計,爲補足數據缺口,合成數據在訓練集中的佔比將持續增加,對合成數據技術也提出了更高的要求。在商業模式上,GPT-5將進一步向AI Agent靠攏,注重與真實應用場景的融合,添加對長任務鏈應用的支持。此外,預計它將簡化面向企業的定制化微調流程,並拓展在內容生成、問答、流程自動化等場景的應用廣度和深度。

報告緣起:GPT-5紅隊測試郵件爆出,預計二季度末至三季度推出。

Deep Trading創始人Peleg等人在社交媒體X上透露,GPT-5早已准備就緒,目前正處於選定用戶的紅隊測試階段,全面評估模型的安全性和可靠性。紅隊測試旨在邀請外部專家嘗試以惡意用戶的思路“攻擊”並試圖找出模型的潛在缺陷和風險點,是大型語言模型發布前的關鍵一環。通過模擬真實世界的各種異常情況,紅隊測試可以幫助模型在上线前進一步強化安全性,提高魯棒性。根據過往測試的經驗中信證券推測,一般此階段爲期3-4個月,預計GPT-5最快今年夏天面世。回顧GPT模型前四代的表現,每一次更新都在性能上實現了全面的提升。GPT-5作爲最新一代的大語言模型,有望在多模態理解、長文本輸入、zero-shot學習等方面樹立新的裏程碑。因此,本篇報告將對即將到來的GPT-5的相關更新進行展望,並對隨之而來的投資機會提出建議。

GPT5能力展望:多模態能力升級,支持長文本輸入,开啓人機交互新時代。

中信證券認爲GPT-5的升級並不會出現如同GPT-2到GPT-3的基礎能力飛躍,但這次迭代將會是一次多方位的全面升級,而其中多模態能力是GPT-5迭代的最重要部分。對於即將到來的GPT-5,中信證券認爲它將補齊圖像模態的多模態功能,實現圖文互生的能力。此外,在今年年初Sora模型掀起視頻多模態處理熱潮後,GPT-5可能也會在視頻模態上取得一定進展,將來GPT-5在視頻理解和生成上的嘗試,都將爲未來數字世界和物理世界的深度融合鋪平道路。除了多模態能力外,文本輸入長度也是今年一季度各家模型廠商競爭的另一個關鍵焦點,較長的文本輸入長度是實現復雜長文本處理和長邏輯推理的基礎,也是構建能處理復雜任務的AI Agent的必要條件。中信證券認爲GPT-5將在長文本處理和長邏輯推理任務上實現新的突破,刷新這一領域的SOTA(State of the Art)表現。這一能力的提升,將爲GPT-5在知識密集型任務中的出色表現提供強有力的支撐。大幅躍升的文本處理能力,結合升級後的多模態理解水平,有望使GPT-5成爲迄今爲止最強大的通用人工智能系統之一。

模型算法&訓練:MOE架構支撐Scaling Law延續,合成數據補足當前數據缺口。

回顧去年發布的GPT-4,其採用了MoE(Mixture-of-Experts)架構,以更低的計算成本支持1.8萬億參數規模。MoE的"數據路由"機制讓每次前向/後向傳播實際使用的參數量大幅減少,這使MoE成爲延續大模型性能與參數規模正相關(即Scaling Law)的一條可行且經濟的路徑。考慮到Scaling Law與數據源的限制,預計GPT-5仍將採用MoE架構,參數量可能達GPT-4的10-50倍。而當前可直接獲取的高質量文本數據已接近上限。參考GPT-2到GPT-4的迭代速度和Chinchilla定律,中信證券估算GPT-5級別模型需要60萬億到100萬億tokens訓練數據,但全網範圍內高質量tokens或許不足50萬億。中信證券認爲,隨着模型規模持續擴張,合成數據在訓練集中的佔比將穩步提高,成爲算法創新的重要數據基礎。但面對GPT-5這樣的超大規模模型,對合成數據的質量、多樣性和可靠性也將提出更高要求,亟需數據生成技術取得進一步突破。

商業模式更新:應用市場協同垂直場景突破,賦能產業數字化轉型。

商業模式更新將會是GPT-5的核心側重點,雖然可能看不到例如連續任務長邏輯推導等任務上的突破,但GPT-5一定會在CoT(Chain of Thoughts)的基礎上向AI Agent進一步靠近。這意味着GPT-5將更加注重與現實世界應用場景的深度融合,我們可能會在GPT Store中看到更多長任務鏈邏輯的應用。除了GPT Store的應用外,預計GPT-5還將會在兩個方面實現商業性上的突破:

其一,GPT-5將大大簡化面向企業級用戶的定制化微調流程。得益於其在少樣本學習、上下文理解等方面的進步,GPT-5有望通過更少的數據和更簡單的微調步驟,快速適配不同行業的特定需求,大幅降低企業的應用門檻和开發成本。

其二,GPT-5將進一步拓展其在內容生成、知識問答、業務流程自動化等場景下的應用深度和廣度。

風險因素:

AI核心技術發展不及預期風險;科技領域政策監管持續收緊風險;私有數據相關的政策監管風險;全球宏觀經濟復蘇不及預期風險;宏觀經濟波動導致歐美企業IT支出不及預期風險;AI潛在倫理、道德、用戶隱私風險;企業數據泄露、信息安全風險;行業競爭持續加劇風險等。

投資策略:

從算力層面看,GPT-5的規模擴張將進一步推高訓練和推理階段對算力的需求。預計,GPT-5的參數規模將達到5-10萬億左右,相比GPT-4有數量級的增長。在如此龐大的參數規模下,即使採用了MoE架構,對訓練所需算力的需求也將呈現爆發式增長。而在推理端,雖然MoE架構使得每次前向傳播所需算力大幅減少,但由於應用場景的增多,GPT-5推理側的總體算力需求依然可能出現數倍的增長。在數據層面,合成數據被視爲解決GPT-5訓練數據缺口的重要途徑。但要滿足GPT-5對訓練數據質量、多樣性和可靠性的較高要求,數據合成技術仍需持續創新。除算力和數據兩條主线外,還有一個值得重點關注的機會在於GPT-5的商業化進程或將催生軟硬一體化AI產品和服務。GPT-5在多模態、長文本等技術優勢下,有望爲企業級數字化轉型提供更強的賦能方案。結合領先企業數字化轉型解決方案供應商,GPT-5有望推動AI算法和企業應用場景的深度融合,產生軟硬一體化的AI產品組合。持續看好算力環節的投資機會,並建議逐步關注軟件等應用環節的商業化落地進展。


注:本文節選自中信證券研究部已於2024年4月18日發布的《前瞻研究美股科技行業專題報告—對於OpenAI新一代模型GPT5,我們能期待什么?》報告,分析師:陳俊雲S1010517080001;賈凱方S1010522080001



標題:對於OpenAI新一代模型GPT5,我們能期待什么?

地址:https://www.wellnewss.com/post/619258.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅爲傳播更多信息之目的,如有侵權行爲,請第一時間聯系我們修改或刪除,多謝。

導讀