谷歌稱AI已迎來“推理時代”。

作者 |陳駿達

編輯 |心緣

芯東西4月10日報道，今天，在谷歌雲Next大會上，谷歌發佈第七代TPU芯片Ironwood。谷歌機器學習、系統和雲AI副總裁兼總經理Amin Vahdat稱，Ironwood是谷歌迄今爲止最強大、最節能的TPU，專爲支持思考、推理類模型的大規模應用而設計。

每塊Ironwood芯片的峯值算力爲4614 TeraFLOPS（第六代TPU芯片Trillium的5倍），內存高達192GB（Trillium的6倍）；HBM帶寬達到7.2 Tbps（Trillium的4.5倍）；其每瓦峯值算力爲29.3 TeraFLOPS，是Trillium的2倍多。

通過芯片間互連（ICI）網絡，Ironwood實現1.2 Tbps的芯片間雙向帶寬，最高可擴展至9216個液冷芯片組成的Pod，總算力達42.5 ExaFLOPS，是目前世界上最大超算El Capitan算力的24倍多。

對於谷歌雲客戶，Ironwood提供兩種尺寸：256芯片配置和9216芯片配置。開發者還可以利用谷歌的Pathways軟件堆棧，管理數萬個Ironwood TPU的綜合計算能力。全面推出的Cluster Director允許用戶部署和管理具有計算、存儲和網絡功能的大型加速虛擬機集羣。

谷歌稱，Ironwood代表着AI及其基礎設施的發展迎來重大轉變，從提供實時信息供人類解讀的響應式AI，轉變爲主動生成解讀的AI模型，迎來“推理時代”。

Ironwood旨在“優雅地管理”思考模型複雜的計算和通信需求，包括大語言模型（LLM）、混合專家模型（MoE）和高級推理任務等這些需要大規模並行處理和高效的內存訪問的場景。

具體而言，Ironwood能在執行大規模張量操作的同時，最大限度地減少芯片上的數據移動和延遲。

由於頂級思維模型的計算需求遠遠超出了任何單個芯片的容量，谷歌爲Ironwood TPU配備了低延遲、高帶寬的ICI網絡，以支持全TPU Pod規模的協調同步通信。

Ironwood還配備了增強版SparseCore專用加速器，可用於處理高級排名和推薦任務中常見的超大嵌入。增強版SparseCore可以加速更多領域的任務，從傳統的AI任務擴展到金融和科學等領域。

大會現場，谷歌雲宣佈他們將很快推出A4X和A4 VMs（虛擬機），由英偉達GB200 NVL72和B200 Blackwell GPU提供算力支持，谷歌雲也將成爲首批提供Vera Rubin GPU的雲服務廠商。

英偉達創始人兼CEO黃仁勳特地爲谷歌雲Next大會錄製了一段視頻，他稱英偉達與谷歌雲的“超級合作伙伴關係”涵蓋了每一層面的計算，英偉達將與谷歌雲一起推出加密計算服務，面向全球的高監管與高風險行業客戶。

Ironwood的發佈正值AI芯片領域的競爭不斷加劇。儘管英偉達在該領域處於領先地位，但包括亞馬遜和微軟在內的科技巨頭也在紛紛推出自己的內部解決方案。亞馬遜通過AWS提供了Trainium、Inferentia和Graviton處理器，而微軟則爲其Cobalt 100AI芯片提供Azure實例。

隨着AI與行業、場景的集成越來越深入，谷歌正通過對Ironwood等推理場景專用硬件的投資，爲這一未來做好準備。