
4月9日,在拉斯維加斯舉辦的 Google Cloud Next 25 大會上,谷歌推出了第七代TPU---Ironwood。該芯片專爲支持大規模思考和 AI 推理模型設計,是谷歌迄今爲止性能最強的TPU。
TPU (Tensor Processing Unit)即張量處理單元,是一種專門爲加速深度學習任務而設計的人工智能芯片,由谷歌公司在2015 年首次提出,第一代TPU於2016 年正式發佈。
官方表示,Ironwood 的推出標誌着人工智能及其發展基礎設施,從提供實時信息供人類解讀的響應式人工智能模型,到能夠主動生成洞察和解讀的模型的轉變。
在推理時代,Agent將主動檢索和生成數據,以協作的方式提供洞察和答案,而不僅僅是數據。而實現這一點,需要同時滿足巨大的計算和通信需求的芯片,以及軟硬協同的設計。
Ironwood 最高配集羣可擁有9216個液冷芯片,峯值算力42.5 ExaFlops,也就是每秒運算42500000000000000000次。
據nextplatform介紹,該芯片是谷歌首款在其張量核心和矩陣數學單元中支持 FP8 計算的 TPU。
Ironwood的FP8算力爲4614 TFlops,略高於英偉達B200標稱的4500 TFlops。內存帶寬7.2TBps,略低於B200的8TBps。
此外,Ironwood 芯片中使用到的第三代 SparseCore 加速器編碼了各種算法,可以實現加速金融和科學計算的目的。
SparseCore 加速器首次亮相於 TPU v5p,並在去年的 Trillium 芯片中得到了增強。它的最初設計目的是加速推薦模型,而這些模型利用嵌入來跨用戶類別進行推薦。
官方數據顯示,Ironwood的每瓦性能是去年發佈的第六代 TPU Trillium 的兩倍。每芯片容量達到192 GB,是 Trillium 的 6 倍,能夠處理更大的模型和數據集,減少頻繁數據傳輸的需求,並提升性能。
谷歌計劃在不久的將來把TPU v7整合到谷歌雲AI超算,持包括推薦算法、Gemini模型以及AlphaFold在內的業務。
據悉,OpenAI聯合創始人兼首席科學家Ilya Stutskever的AI初創公司Safe Superintelligence 正在利用Google Cloud的TPU芯片來支持其AI研究。