【第四范式推出大模型推理端侧解决方案ModelHub AIoT】金十数据2月26日讯，从第四范式了解到，第四范式推出大模型推理端侧解决方案ModelHub AIoT，用户在端侧可轻松部署包括DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型，并实现离线运行。用户可灵活在多个模型之间切换，兼顾了模型压缩、推理性能，解决了部署与优化的复杂性。公司表示，该方案不仅能够满足用户对隐私和实时性的需求，还极大降低了AI大模型推理成本。
免责声明：投资有风险，本文并非投资建议，以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请，作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考，不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证，投资者应自行研究并在投资前寻求专业建议。