作者 | 徐豫

編輯 | 漠影

AI手機、AI PC、AI眼鏡等智能設備正逐步AI Agent化，但這些小型終端要用上大模型能力，還差一把關鍵鑰匙，即一套端邊雲聯動的解決方案。

智東西1月6日報道，目前，大模型行業正呈現出端邊雲協同，以加速端智能場景落地的新趨勢。

過去一年，智能門鎖、AI看護機、AI眼鏡、無人機等多種形態的端側AI產品密集湧入市場，主打輕量化部署，其內置的AI模型通常小而易用。然而，端側設備的功耗和算力仍十分受限，涉及複雜計算的推理任務正在向邊緣和雲端轉移。

換句話說，大模型所具備的算力優勢與小模型側重的低成本部署之間，還缺少一座連接的橋樑。字節跳動旗下的雲服務平臺火山引擎給出了它們的最新解法。

在2024年冬季火山引擎FORCE原動力大會上，火山引擎邊緣雲官宣全面升級其智能邊緣，優化了物聯網平臺、智能平臺、邊緣大模型網關服務，並推出了邊緣原生智能體。這可以看作是一整套基礎設施，可以用這個系統連接起端側小模型應用和邊雲大模型能力。

火山引擎邊緣智能技術負責人謝皓解釋道，端側主要提供了OneSDK一站式解決方案，使得端側的嵌入式設備也能用上大模型；邊緣側上線了大模型網關，提升了大模型調用過程的效率和穩定性；中心側會編排一些智能體，降低大模型部署應用的難度；而邊緣原生智能體可面向不同行業定製個性化的智能體。

對於邊緣智能最新技術優勢、邊緣智能新應用場景和邊緣智能下一步發展重點，謝皓也向智東西分享了他的看法。

他認爲，邊緣AI的發展當前可以分爲基礎設施和應用場景兩個方面來看，前者主要負責解決連接和計算問題，並提供大模型調度和計算推理能力。而邊緣AI應用場景的發展目前仍受限於碎片化和難規模化，謝皓稱，一套支持端邊雲聯動的智能邊緣架構多數情況可複用，在一定程度上能拓寬邊緣AI的部署範圍。

爲什麼要強化AI Agent與大模型的連接，如何安全地實現計算任務的端邊雲協同處理，邊緣智能解決方案能應對AI Agent時代的哪些難題？與火山引擎邊緣智能技術負責人謝皓深入溝通後，我們詳細拆解了一站式邊緣智能解決方案的兩大技術優勢。

一、大中小廠都在用，AI Agent調動大模型有新招

從卷大模型技術到卷大模型應用，2024年AI Agent生態迎來了小高潮。據Cookie.fun最新數據顯示，截至2025年1月4日，AI Agent整體市值已經達到173.6億美元，過去7天的漲幅接近50%。

除了資本市場熱度升溫，AI Agent自身能力也得到快速發展。《福布斯》2024年12月底援引業內人士觀點稱，預計2025年將出現能夠依據簡短提示詞執行復雜任務的AI Agent。

在LangChain一份針對2024年AI Agent現狀的調研報告中，1300多名受訪者超半數已經在生產過程中使用Agent。其中員工規模介於100至2000名的中型公司佔比63%，最常用Agent來爲生產過程提效。

如果該調研進一步擴大篩選範圍，把有計劃應用AI Agent或正在開發AI Agent的公司都算在內，那麼AI Agent的潛在和實際用戶比例則高達78.1%。

這也意味着，過去一年大多數公司有意願引入AI Agent，但可能實際部署時遇到了各式各樣的絆腳石，從而滯後了相關計劃。其中可能不乏一些早前積累了AI模型資源的公司，那麼基於一個更通用的邊緣AI基礎架構，按需把AI模型能力遷移至端側設備，或許是其新的出路。

據公開信息顯示，國內的潤欣科技、地瓜機器人、上海一高校等不同領域的公司和單位，都開始加速落地大模型，以刺激業務增長。而這背後用到了火山引擎的邊緣智能基礎架構。

爲了更好地適應AI Agent時代，該邊緣智能基礎架構優化了4大方面，包括簡化端智能接入流程，提升邊緣雲推理請求的加速性能、推理能力和安全性，增強大模型文件分發、智能體配置等功能，以及新增了多個行業智能體。

謝皓接受智東西採訪時提到這套解決方案所涉及的AI模型，雲上服務主要使用豆包大模型，而解析提示詞等步驟則會用到一些帶有行業屬性的、自家微調的傳統CV模型，或者開源的小模型。

二、會節約算力的智能決策器，隱私安全爲最高優先級

通常情況下，AI Agent需要依賴雲端服務器爲其提供大量的算力和算法支持，但同時也面臨着算力資源爭搶和部署成本高昂的問題。相對於雲服務而言，端智能在本地設備等端側處理計算任務，能夠有效降低時延和運算成本。

端智能在落地過程中可能會遇到以下四個方面的挑戰，包括多平臺集成、多SDK適配、多重設備身份管理和多種模型協同。對於上述多點聯動的難題，火山引擎邊緣智能上線了OneSDK、OneCredential和OneStop端智能一站式服務解決方案。

1、一站式軟件開發端智能解決方案OneSDK

端側會集成一個軟件開發工具包（SDK），基於該SDK可一站式解決在線升級（OTA）、日誌記錄、遠程登入、設備管理等設備運維需求，設備密鑰、設備證書等設備安全需求，以及多模型和多智能體調用的設備智能需求。

同時，端側還提供硬件抽象層（HAL）接口，以便在實時操作系統（RTOS）、其他嵌入式操作系統以及無操作系統的設備上遷移SDK。

2、一站式跨雲服務權限端智能解決方案OneCredential

該解決方案支持雲上多個平臺間的身份互認和權限穿透，使得設備端可共享一套密鑰和證書，從而允許訪問邊緣大模型網關、物聯網平臺等多項服務。

這一舉措將有效降低設備端的資源佔用，以及多份證書的重複創建成本，並且也避免了重複身份認證所帶來的額外服務調用。同時，在滿足安全性的前提下，該做法還提升了設備端的整體性能。

另外，在OneCredential端智能解決方案中，每個設備粒度可按需token配額，以提供針對端側更划得來的計量和計費策略。

3、一站式企業部署端智能解決方案OneStop

通過深度融合端雲技術，OneStop主要爲企業降低了端側智能體的開發與接入門檻。

不過，上述端智能解決方案雖然給端側設備接入AI Agent提供了更多技術支持，但還不能一攬子突破端側AI的算力上限。由於算力和內存等條件的限制，端側AI大多采用的是小模型，這也導致其難以兼顧一些複雜的計算任務，或者更加多元化的應用場景。

如果AI Agent消耗算力時，也可以“喫多少拿多少”，自行匹配每次計算任務是調用端側的小模型，還是邊緣或雲端的大模型，便能以性價比更高的方式應對較爲複雜的人機交互場景。火山引擎邊緣雲2024年年底推出的智能決策器，就充當了這個分配過程的總控室。

據公開信息顯示，該智能決策器可以依據提示詞等信息，將任務按需分發至本地、邊緣或雲中處理。AI Agent推理請求難點主要是其對提示詞的理解，因此該智能決策器的前端設置了一套提示詞解析流程，即藉助一個本地邊緣大模型解析提示詞，然後通過中心位的智能路由把解析結果傳輸給智能決策器。

那麼接到一個計算任務時，該智能決策器如何界定需要用到本地、邊緣還是雲端的AI模型來處理呢？

其對於計算任務複雜程度的定性主要考慮兩大方面，一方面是基於規則的靜態決策，會綜合考慮功耗、機型和溫度等因素；另一方面是基於模型的動態決策，會從小模型、隱私判斷和任務判斷等維度考量適用情況。

但當決策結果出現矛盾時，數據安全和隱私將成爲首要考慮原則。其決策先後順序大致分爲以下幾步：計算任務的安全和隱私級別較高時，智能決策器的推理過程被要求僅調用本地模型；而計算任務的安全和隱私級別適中時，智能決策器再結合計算任務的複雜程度分流，涉及隱私的優先在本地處理，較爲複雜的則傾向於調度至邊緣或雲端開展推理。

以智能座艙爲例，車內攝像頭可能會拍攝記錄到一些涉及隱私的對話和行爲，謝皓稱這種情況下智能決策器會傾向於本地化處理，但如果是需要聯網、涉及影像插件等較爲複雜的操作，更多時候會交給雲上大模型處理。

在智能決策器決定將推理請求轉發至本地設備外的過程中，具備標準接口、就近訪問、推理加速和高魯棒性四大核心能力的火山引擎邊緣大模型網關，會提供進一步的支持，以提升邊緣和雲端“大腦”的訪問效率。

具體來看，在標準接口方面，邊緣大模型網關適配約20家主流大模型廠商，以及多家智能體提供商，實現與OpenAI相一致的標準接口，從而簡化了開發流程。

在就近訪問方面，邊緣大模型網關通過全球範圍的邊緣節點和智能流量調度策略，來實現端側設備的就近快速接入，並降低延遲。

在推理加速方面，邊緣大模型網關採用了多種緩存技術和邊緣推理方法，有效提高了查詢速度，並增強了整體性能。

在高魯棒性上，邊緣大模型網關設置了跨模型廠商的故障遷移機制，並應用了錯誤重試策略，以此增強請求處理的魯棒性，使得計算任務處理的連續性和可靠性更強。

三、能聯動四方的邊緣原生智能體，支持AI Agent就近上雲

邊緣原生智能體是AI模型端側落地的一個重要形式。

火山引擎方面提出了邊緣原生智能體的四大必備能力，包括理解設備能力、連接物理世界、單智能體協同和多智能體協同。這也各自對應了人機交互場景中動態捕捉和理解信息、自主感知或操作設備、單智能體完成特定任務、多智能體配合完成複雜任務的需求。

其中，爲了完善邊緣原生智能體自主感知、操作設備的效果，火山引擎選擇聯動自家的低代碼平臺“釦子”，通過定製插件和工作流來實現邊緣智能與家用設備、工業設備、車載設備等物理世界實體的連接。火山引擎方面稱，目前邊緣原生智能體已應用於相關智能數字工廠和智慧園區，涉及工業質檢、園區安防等領域。

現階段，火山引擎邊緣雲的分佈式雲網基礎設施在海內外共有2500多個邊緣節點，其網絡時延控制在較低的1至40毫秒區間，支持端邊互聯、邊邊互聯和邊雲互聯場景，從而實現智能應用就近上雲。

同時智能應用從端側遷移到邊緣或雲端的過程中，無論是單智能體內部的端邊雲互傳，還是多智能體之間的協同連接，都依賴於一個安全傳輸網絡。對此，火山引擎邊緣雲在DDoS防護、邊緣WAF和頻次控制等傳統安全防護措施的基礎上，新增了針對AI Agent的邊緣安全防護功能，包括提示詞檢測、系統提示詞防禦、結果檢查等。

結語：從各司其職到取長補短，端邊雲協同成AI應用大勢

當前，雖然大模型種類、性能及其開發商都較爲多元，可供支持部署AI Agent的選擇比較多，但芯片、算力、能源等大模型相關資源仍處於僧多粥少的階段，因此中小型公司在AI Agent的部署上，常常難以搶跑大公司。但如果只用成本較低的端側AI，又還不足以覆蓋公司所有的生產提效需求和場景。

端邊雲協同處理AI任務將有效降低AI應用部署的成本，節約算力和功耗，進一步降低中小型公司引入AI Agent的門檻。

同時，支持端邊雲協同的邊緣智能基礎架構，有助於不同行業快速借鑑、定製可行的AI模型落地樣本。從火山引擎邊緣雲現階段公開的成果來看，具身智能、端智能芯片、智能玩具、創新教育等行業內都拿出了實戰案例。