中國財富網訊近日，第四範式（北京）技術有限公司正式推出大模型推理端側解決方案ModelHub AIoT，為用戶在端側部署AI模型提供了高效、便捷的全新選擇。該方案支持用戶在端側輕鬆部署諸如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸餾模型，並可靈活切換多個模型，兼顧了模型壓縮與推理性能，有效解決了部署與優化的複雜性問題。

　　第四範式總裁裴沵思表示：「ModelHub AIoT不僅能夠滿足用戶對隱私和實時性的需求，還降低了AI大模型推理成本，讓AI技術的應用更加廣泛和高效。」他介紹稱，目前ModelHub AIoT具有三方面優勢：

　　一是無需聯網，端側低延時運行。ModelHub AIoT依託優秀的端側推理框架，在端側算力的支持下展現出卓越的性能與適配性。模型在本地即時處理請求，能夠為用戶提供流暢的交互體驗。即使在網絡不穩定或離線環境下，端側模型依然能夠正常運行，確保服務的連續性，為用戶帶來穩定可靠的使用感受。

　　二是數據隱私與安全性提升。端側部署模型是ModelHub AIoT的一大亮點。數據無需上傳至雲端，所有計算和處理都在本地設備上完成，從而避免了數據在雲端傳輸和存儲過程中可能面臨的潛在泄露風險，顯著降低了數據被黑客攻擊或濫用的可能性，為用戶的數據隱私和安全提供了有力保障。

　　三是成本效率與資源優化。端側部署有效降低了對雲端資源的依賴。通過本地處理，減少了雲端計算和存儲的需求，進而降低了服務器成本和API調用成本。同時，無需頻繁上傳大量數據，節省了網絡帶寬資源，實現了成本與資源的優化配置，為企業和用戶帶來了更高的性價比。（張宇航）

（文章來源：中國財富網）