【第四範式推出大模型推理端側解決方案ModelHub AIoT】金十數據2月26日訊,從第四範式瞭解到,第四範式推出大模型推理端側解決方案ModelHub AIoT,用戶在端側可輕鬆部署包括DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸餾模型,並實現離線運行。用戶可靈活在多個模型之間切換,兼顧了模型壓縮、推理性能,解決了部署與優化的複雜性。公司表示,該方案不僅能夠滿足用戶對隱私和實時性的需求,還極大降低了AI大模型推理成本。
免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。