AI大模型競賽愈發白熱化,下半場將聚焦推理與數據。
2月23日,馬斯克點讚了一條關於AI模型競爭路線的分析,他稱讚道“分析得很好”,值得一提的是,上週馬斯克旗下xAI正式發佈Grok 3大模型。
這篇推文是由Gavin Baker發佈,他在文章中表示,AI產業格局的變革正在加速,OpenAI的先發優勢消退,微軟也選擇後撤一步。
Gavin還預計,未來數據成爲競爭核心,無法獲得獨特、有價值數據的前沿模型是歷史上貶值最快的資產。Meta等巨頭通過數據壟斷和算力規模構建護城河,而中小玩家聚焦差異化部署和成本優化。
不過,Gavin仍看好xAI和OpenAI,他表示,如果OpenAI在5年後仍然是該領域的領導者,那可能是因爲先發優勢和規模優勢,以及產品影響力。
Gavin在推文中指出:
當ChatGPT在2022年11月橫空出世時,OpenAI通過激進押注Scaling Law,在生成式AI領域建立了長達7個季度的統治地位。但這一優勢窗口正在關閉:Google的Gemini、xAI的Grok-3,以及Deepseek的最新模型,均已達到與GPT-4相近的技術水平。
就連OpenAI創始人Altman也指出,OpenAI未來的領先優勢將更加狹窄;微軟CEO納德拉基本上表示,他們在模型能力方面領先的獨特時期即將結束。
據The Information此前報道,微軟內部備忘錄顯示,由於預訓練邊際效益遞減,原計劃投入160億美元升級預訓練基礎設施的方案已被叫停,微軟轉而專注於爲OpenAI提供推理以獲取收益。
納德拉也在此前的播客節目中表示,數據中心可能建設過剩,租賃優於自建,微軟甚至可能會使用開源模型來支持 CoPilot。Gavin認爲,這些預示着單純依靠參數擴張建立壁壘的“預訓練時代”已走向終結。
Gavin認爲,當模型架構趨同,獨家數據資源成爲護城河。
Gavin在推文中表示:
我多次轉述EricVishria的話,無法獲得獨特、有價值數據的前沿模型是史上貶值最快的資產,而蒸餾只會放大這一點。
如果未來前沿模型無法訪問 YouTube、X、TeslaVision、Instagram 和 Facebook 等獨特而有價值的數據,則可能沒有任何投資回報率。
從這個角度來看,扎克伯格的策略似乎也要明智得多。獨特的數據可能最終成爲預訓練數萬億或千萬億參數模型差異化和 ROI 的唯一基礎。
這解釋了爲何扎克伯格將Meta的AI戰略錨定在社交數據閉環,據媒體此前報道,Instagram用戶的圖像標註數據,使Meta的多模態模型訓練效率提升40%。
這一變化也將帶來AI基礎設施格局的顛覆性變化,Gavin預計,
預訓練算力:需超大規模集羣(10萬卡級),但參與者將縮減至2-3家,技術堆棧追求極致性能(液冷、核能供電),這一中心堪比“法拉利”級超算中心。
推理算力:較小的6-10家數據中心,分佈式、低成本架構主導,地理就近部署與能效比成關鍵,使用風/光能源,基於量化壓縮技術(如Deepseek R1的1-bit LLM)支撐低成本推理,是“本田”級邊緣節點。
Gavin強調,推理模型是極其計算密集型的,具備強大的計算能力,模型才能高效地完成推理任務。但與之前那種預訓練和推理階段計算資源分配大致各佔一半的情況不同,現在會變成預訓練佔 5%,推理階段佔95%。卓越的基礎設施將至關重要。
整體來看,未來AI行業可能呈現“預訓練集中化,推理去中心化”的兩極格局,數據成爲權力核心,巨頭通過數據壟斷和算力規模構建護城河,而中小玩家聚焦差異化部署和成本優化。
本文來自微信公衆號“硬AI”,關注更多AI前沿資訊請移步這裏
免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。