叫陣NVIDIA!英特爾推Gaudi 3 AI加速器 比H100強

2024-04-10 16:04:48   來源:好新聞   作者: Ellison

▲英特爾宣布推出Intel Gaudi 3 AI加速器。(圖/英特爾提供)

記者高兆麟/綜合報導

英特爾在Vision 2024大會上,宣布推出Intel Gaudi 3 AI加速器,與前代產品相比,Gaudi 3為BF16提供4倍AI運算能力、1.5倍記憶體頻寬以及2倍網路頻寬,可擴充大規模系統,將有助大型語言模型(LLM)和多模態模型的AI訓練和推理,大幅提升效能和生產力,英特爾更表示,Gaudi 3加速器平均訓練時間將比Nvidia H100縮短50%,推理處理量預計將比H100 平均高出 50%,推理效能平均高出40%。

Intel Gaudi 2 AI加速器是市場上唯一通過MLPerf基準測試的LLM解決方案,效能和效率皆通過驗證。英特爾透過開源社群軟體和符合業界標準的乙太網絡,為客戶提供可靈活擴充系統的新選擇。
 
英特爾執行副總裁暨資料中心與AI解決方案總經理Justin Hotard表示:「AI市場瞬息萬變,但產品間仍存在巨大差距。不論是來自客戶還是更廣泛市場的回饋,皆反映對更多選擇的渴望。企業須權衡可用性、可擴充性、效能、成本和能源效率等因素。Intel Gaudi 3作為生成式AI的新選擇,憑藉性價比、系統可擴充性和時間成本優勢的完美結合脫穎而出。」
 
金融、製造和醫療保健等關鍵領域的企業,目前正快速提升AI的普及化,並積極將生成式AI計畫從試驗階段轉為全面實施。為了因應轉型、推動創新並達成營收成長目標,企業需要開放、符合成本效益且更節能的解決方案和產品,以符合投資報酬率(ROI)和營運效率需求。
 
Intel Gaudi 3加速器將滿足這些需求,並透過開放社群軟體和開放標準的乙太網路,協助企業靈活擴充AI系統和應用。
 
客製化基礎架構如何提升生成式AI效能和效率:Intel Gaudi 3加速器專為高效的大規模AI運算打造,採用相較前一代產品更先進的5奈米製程。其設計允許同時啟動所有引擎以提升速度,包括矩陣乘法引擎(MME)、張量處理器核心(TPC) 和網路介面卡(NIC),進而實現更高速、高效的深度學習運算和規模擴充。

Intel Gaudi 3加速器將為領先生成式AI模型的訓練和推理,帶來顯著的效能提升。與Nvidia H100相比,Gaudi 3加速器在具有70億和130億參數的Llama2模型及1750億參數的GPT-3模型上,預計Intel Gaudi 3的平均訓練時間將比Nvidia H100縮短50%。此外,在Llama 70億、700億參數以及Falcon 1800億參數模型中,Intel Gaudi 3加速器的推理處理量,預計將比H100 平均高出 50%,推理效能平均高出40%。

Intel Gaudi 3加速器將於2024年第二季,向OEM提供通用基板和開放加速器模型(Open accelerator module, OAM)的業界標準配置。包含戴爾科技、慧與科技(HPE)、聯想和美超微等知名OEM,都將採用Gaudi 3。Intel Gaudi 3加速器預計於2024年第三季全面上市,Intel Gaudi 3 PCIe附加卡預計於2024年第四季上市。
 
Intel Gaudi 3加速器也將支援多個高成本效益LLM基礎架構,協助訓練和推理,並為包括NAVER在內的組織提供性價比優勢和選擇。
 
開發者從今日起即可存取Intel Developer Cloud上以Intel Gaudi 2為基礎的實例,以學習、建立原型、測試和執行應用程式與工作負載。



標題:叫陣NVIDIA!英特爾推Gaudi 3 AI加速器 比H100強

地址:https://www.wellnewss.com/post/614501.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅爲傳播更多信息之目的,如有侵權行爲,請第一時間聯系我們修改或刪除,多謝。

導讀
推薦