金吾財訊 | 華泰證券表示，2025年2月18日，xAI發佈了基於全球最大算力集羣（約20萬塊GPU）訓練的新一代大模型：1）預訓練模型：Grok-3與Grok-3 mini，在Math、Science、Coding測評集上超過了Gemini-2 Pro、GPT-4o以及DeepSeek-V3；2）推理模型：Grok-3的Reasoning版本在性能上超越了OpenAI o3 mini (high)。Grok-3系列將首先面向X平臺的Premium Plus訂閱用戶開放，包括聊天功能、DeepSearch與高級推理模式。該行認爲，一方面Grok-3訓練集羣已達到20萬卡級別，證明預訓練在算力提升下仍能突破；另一方面，xAI將採用“延遲開源”策略，即在Grok-3打磨完善後，開源Grok-2，實現了商業化和開源的平衡，開源社區有望被持續賦能。該行提到，xAI指出，Big intelligence requires big compute，Grok-3相比Grok-2提升了10x的訓練算力。2024年9月3日，馬斯克宣佈xAI的10萬卡H100集羣上線，本次發佈會再次表示xAI的訓練集羣GPU數已擴大到了20萬。該行認爲，雖然目前在預訓練數據上存在瓶頸，但是合成數據、RL數據、工程能力優化，甚至Transformer架構迭代，或能逐步打破瓶頸，Grok-3已經證明預訓練依然有突破空間，持續看好全球頭部大模型預訓練算力需求。