筆記本跑百億大模型?在 AMD 這裏沒問題

愛範兒
03/18

在衝向 AI PC 的賽道上,每一個芯片、設備企業都生怕落後。

這場競速賽,目前蘋果生態大幅領先,愛範兒在上週的 Mac Studio 評測中,成功在本地部署並運行 DeepSeek Q4 量化版 671B 和 70B 版本,而且 token 吞吐性能不錯,展現了 M3 Ultra 芯片以及高達 512GB 統一內存的實力。

而在 x86 陣營這邊,目前最有競爭力的「車隊」AMD,正在試圖加速超車。

在 3 月 18 日舉辦的 AMD AI PC 創新峯會上,公司高級副總裁、計算與圖形總經理 Jack Huynh 展示了在 AMD 架構筆記本電腦上運行 DeepSeek 大模型的能力。

根據現場展示,一臺搭載 AMD 銳龍 AI Max+ 395 處理器的筆記本電腦,順利運行了 DeepSeek-通義千問融合 7B 大模型。Token 秒速並沒有公開,但根據現場肉眼觀測的結果,結合我們過往在不同機型上測試的經驗,現場速度應該至少能夠達到 15 tok/s 以上。

需要說明的是,根據現場 demo 區顯示,這一部署和運行結果依賴 AMD StrixHalo LLM 軟件,一個 AMD 開發的大模型運行環境。根據我們的理解,背後邏輯簡單來說,AMD 會對支持的大模型進行內部優化,顯著降低單位 token 激活參數成本,然後再將支持能力通過銳龍 AI 軟件實裝到用戶本地設備。

而銳龍 AI Max 處理器家族本身也支持了更高的顯存分配能力。在現場我們看到,AI Max 支持最高 96GB 的顯存分配,讓處理器集顯獲得了高端獨立顯卡才能實現的性能,而這一性能既可以用於 AI 訓練和推理計算,也可以用於遊戲。

經過優化之後,參數量再大也不愁。在 demo 區的示例中我們看到,前述同款芯片在華碩 ROG 幻 X 2025 款筆記本電腦上,最高可以運行 Meta 開發的 Llama 3.1 70B 大語言模型。

儘管參數量極大,過往對硬件要求也極高,遠超過去業界對於移動計算設備本地推理能力的認知上限——筆記本電腦現在也可以順利且輕鬆地運行數百億參數量的大模型了。

AMD 這樣做的目的,是確保基於大模型的企業級應用和科研能力,能夠被普及到 x86 陣營的筆記本,甚至配置更輕便的移動計算設備。目前,AMD AI PC 環境支持 DeepSeek 1.5B、7B 等主流型號的大模型。

如果筆記本不足夠的話,AMD 也為真正的重型用戶提供了能夠運行 DeepSeek R1 全參數大模型的服務器方案,領先了英偉達一步(後者可能會在明天凌晨更新 AI 計算集羣模塊化產品)。

現場展示了兩種不同方案,其一是 AMD 自主的方案,基於 vllm 框架,採用 8 x W7900/78000 顯卡,可以完全離線本地部署 DeepSeek 671B,為企業內部研發和知識產權保駕護航。

其二是 AMD 和羣聯電子合作的 aiDAPTIV+ 方案,大致邏輯是讓顯卡通過 NAND 閃存擴展內存,從而打破單卡的顯存瓶頸。通過現有 AMD 顯卡,同樣可以在單機的形態下實現 DeepSeek 671B 全參數級別訓練的能力。

當然,大多數人只是純粹的 AI 應用用戶,而非開發者。所以 AMD 在這次峯會現場也和 OEM 合作伙伴一起,展示了各類主流形態的消費級 AI 應用。

很有意思的是現場的 demo 之一,由清醒異構開發,基於 AMD Ryzen AI 平臺的大模型圖片生成工具「繪夢師」。它支持文生圖、圖生圖、邊畫邊生圖等生成模式,而且完全可以在本地運行,不需要聯網。

再比如聯想展示的個人智能體「小天」作為 PC 端的 AI 入口,其背後的大模型可以根據個人數據訓練和優化,在前臺具備任務分解和規劃、自然交互、長期記憶、工具調用等能力。

最近一年時間裏,AI 技術發展的太過於迅猛,能力上限一再提高,大模型可選項也與日俱增。但受制於設備本地計算能力,PC 行業也在面臨很大的挑戰。

而考慮到最大的友商目前面臨非技術困難,AMD 作為 x86 陣營另一個底層計算技術頭部廠商,認為自己必須肩負責任,迎接挑戰,領導變革,讓 AI 能夠真正通過 AI PC 進入千家萬戶和千行百業。

在峯會上,AMD 給了 OEM 合作伙伴很大的露出機會。包括微軟、聯想、華碩、宏碁、惠普等生態合作伙伴,紛紛帶來了基於最新 AMD 銳龍 AI 處理器家族的 PC 新品。

AI PC 的品牌和機型的選擇權寬度,AI PC 產品本身的大模型運算能力,以及不同消費級場景的應用豐富度,對於 PC 品牌和芯片廠商們在 AI 時代守住本陣營市場份額尤為重要。

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10