今天,聯想宣佈旗下首款 AMD AI 大模型訓練服務器聯想問天 WA7785a G3 在單機部署 671B(滿血版) DeepSeek 大模型時,可實現極限吞吐量 6708token / s,將單臺服務器運行大模型的性能推向了新高,充分展現了聯想在 AI 基礎設施領域技術的深厚積澱與研發的快速響應能力。在 AI 算力競爭日趨白熱化的今天,聯想再次以硬核技術實力樹立了行業新標杆。
軟硬協同打造業界性能新標杆
依託聯想萬全異構智算平臺,聯想通過訪存優化、顯存優化、PCIe 5.0 全互聯架構創新以及精選 SGLang 框架中性能最優算子等諸多創新方式,對大模型從預訓練、後訓練到推理的全流程進行持續優化,在單臺部署 DeepSeek 671B 大模型的聯想問天 WA7785a G3 上實測最高吞吐量達 6708 token / s。
AI識股
在模擬問題對話場景(上下文序列長度 128/1K)時,最高可支持併發數 158,TPOT 93 毫秒,TTFT 2.01 秒;而在模擬代碼生成(上下文序列長度 512/4K )時,併發數可達 140,TPOT 100 毫秒,TTFT 5.53 秒。
這一成績意味着單臺聯想問天 WA7785a G3 可以支撐 1500 人規模企業的正常使用,是繼聯想問天 WA7780 G3 服務器單機部署滿血版 DeepSeek 大模型總吞吐量突破 2500 token / s 之後,單機部署該大模型推理性能的又一次突破。
此次突破是聯想中國基礎設施業務羣、聯想研究院 ICI 實驗室和 AMD 聯合設計、協同調優、共同實現的。此結果也並非最終結果,聯想與 AMD 還在持續嘗試深度調優新方法。實現更高調優突破。
硬核配置構築強大 DeepSeek 算力底座
聯想問天 WA7785a G3 服務器是聯想與 AMD 雙方深度合作的智慧結晶,正是雙方通力合作帶來的技術創新、軟硬協同能力與架構突破爲 DeepSeek-R1 滿血版大模型插上性能騰飛的翅膀。
強大算力引擎:聯想問天 WA7785a G3 搭載了 2 顆 AMD 處理器和 8 顆 AMD 新一代 Instinct OAM GPU,它們爲大模型訓練、推理等場景提供了強大的算力引擎。
超大顯存優勢:WA7785a G3 擁有超大的顯存容量,單顆 GPU 的 HBM3e 顯存容量高達 192GB,總計達 1.5TB。超大顯存使得單機支持全量模型推理情況下,仍保留充足的 KV 緩存空間。而其顯存帶寬達到了驚人的 5.3TB/s,GPU 聚合帶寬達 896GB/s,節點間網絡帶寬 3.2TB/s,更高的帶寬可爲推理解碼實現極致加速,充分滿足了大模型並行計算時對跨節點通信的高帶寬需求,使其成爲用戶首選大模型推理服務器。
特有創新架構:聯想問天 WA7785a G3 的獨特架構設計也爲最大程度地釋放算力潛能、突破帶寬限制發揮了關鍵作用,其三重獨立風道設計分別針對 CPU 節點、GPU 節點和交換機節點進行精準散熱控制,提高了散熱效率,爲服務器的穩定性和可靠性提供了有力保障。
未來,聯想將持續深化與產業夥伴的技術協作,通過架構創新、算法優化與硬件技術創新,不斷突破性能邊界,爲各行業提供更高密度、更低能耗、更易部署的 AI 算力基礎設施,推動 AI 算力向更高效、更普惠、更可持續的方向演進,助力中國智算產業的持續發展。
免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。