構建數據空間只需這幾步,釋放數據新價值

藍鯨財經
01-03

文|數據猿

最近國家數據局印發了《可信數據空間發展行動計劃(2024—2028年)》,明確提出,到2028年要建成100個以上可信數據空間的目標。

同時,《行動計劃》提出,以深化數據要素市場化配置改革爲主線,分類施策推進企業、行業、城市、個人、跨境可信數據空間建設和應用,同時支撐構建全國一體化數據市場。

其實可信數據空間是實現數據資源共享、共用的一種數據流通、利用的基礎設施,是數據要素價值共創的應用生態。《歐洲數據戰略》(2020年)就提出創建一個單一的歐洲數據市場,以維護個人的數據隱私,同時支持將數據用於競爭和創新。

目前國內外一些集團企業、行業和組織都致力於可信數據空間的建設,也取得一些成果。但是數據空間僅侷限於企業、行業等,應用效果相對有限。

那麼,數據空間建設很複雜嗎?如何構建數據空間?需要哪些組件?又有哪些解決方案呢?

First look,7步構建數據空間

隨着數據要素市場的逐步建立,數據空間越來越受歡迎。作爲一種通過共同商定的原則實現可信數據共享和協作的去中心化方法,數據空間構成了最新的公共和私有數據交換計劃的基礎,突破了在企業、部門、個人、甚至國家等之間共享有價值數據的恐懼,從而從數據中釋放新的商業價值。

數據空間示意圖 圖片來源:AWS

數據空間有幾個核心要點:核心目標是使不同數據生態系統各方之間能夠進行數據交易;組織保持對數據的控制,同時確保跨平臺和行業互操作性;數據交易是安全、去中心化的。

其實數據空間概念並不神祕,但是構建一個數據空間因爲涉及衆多參與方,涉及衆多的技術和方案,因此相當複雜。

不過通過以下7個步驟,我們就可以構建一個數字空間。

第1步:定義願景。任何一個成功的項目都始於清晰的願景。在設立願景時,將數據空間目標與利益相關者總體目標對齊,通常圍繞可持續性和共贏,確保數據空間實現有意義的目標。

總體而言,數據空間應解決眼前挑戰,同時與長期戰略目標保持一致,培養負責任的創新文化。

目前,數據空間潛在用於醫療保健,通過安全互操作環境,共享醫學研究數據,加速研究和改善服務,如歐洲健康數據空間計劃。

智慧城市,集成城市系統數據,優化城市規劃、交通管理和公共服務,實現便民服務。

製造業供應鏈,實現供應商、製造商和物流提供商間實時數據交換,提高透明度和效率,達到創新、成本降低等目標。

第2步:利益相關者協同。數據空間的良好運作離不開各方的協作,需要衆多利益相關者如數據的提供者、使用者、管理者以及監管者等共同參與。

在數據空間的構建初期,就讓利益相關者參與其中具有重大意義,能夠確保全面瞭解各方的需求和期望,從而在數據的訪問規則、使用方式以及保留期限等方面制定出合理且可行的策略。例如,醫療數據空間中,讓醫院、醫生、患者以及研究機構等早期參與,能精準確定患者數據的使用權限和保密程度,爲後續的順暢運行奠定基礎。

當利益相關者積極參與數據空間的各項事務時,有助於建立起彼此之間的信任和透明度。比如在金融數據空間,銀行、金融監管部門和客戶等利益相關者的深度參與,使數據的使用公開透明,增強了整個金融體系的穩定性和可信度,保障了各方權益,促進數據空間健康發展。

第3步:制定治理框架。數據空間的穩健發展離不開完善的治理框架。首先,明確清晰的治理框架能夠爲後續的技術實施築牢根基,因其提供了規範與準則,從而吸引更多元的參與者加入數據空間生態。

安全性作爲數據空間的關鍵核心,在項目實施中需全面落實安全協議,涵蓋數據加密,確保數據傳輸與存儲的保密性;精細的訪問控制,依據不同角色與權限分配數據訪問級別;以及嚴謹的審計流程,對數據的操作進行記錄與審查等。

尤爲重要的是,治理框架必須經由各利益相關者共同商議確定,不僅能有效保護數據的安全與隱私,防止數據泄露與濫用,還能在參與者之間建立起堅實的信任信心,推動數據空間健康、有序地發展。

第4步:設計數據空間基礎架構。設計強大的架構對於數據空間的擴展至關重要。目前市場上有不同的數據空間架構,如Eclipse Dataspace Components(EDC),是一個開源項目,爲構建數據空間提供了一個可擴展框架。

設計的架構應靈活可擴展,適應未來增長和行業標準變化。同時架構必須支持分佈式數據管理,實施數據主權,並確保無縫互操作性。數據主權可確保數據所有者保留對其數據的控制權,包括數據在數據空間內的共享和使用方式。

設計數據空間架構時應包括關鍵組件,如數據連接器,實現安全數據交換和策略實施;身份和訪問管理(IAM),管理身份驗證和授權;數據目錄支持數據發現和元數據管理等。

第5步:開發數據空間基礎設施。開發數據空間基礎設施存在兩種主要途徑:一是本地部署,企業可依據自身實際情況,在內部構建專屬的數據空間基礎設施,便於進行高度定製化管理。

二是雲上部署,如今越來越多的企業選擇這一方式。藉助雲原生技術,能顯著提升運營效率,有效簡化數據空間管理流程,降低複雜性,同時減少成本投入。

像阿里雲、騰訊雲或者AWS等雲平臺,都是常見的選擇。在這些雲平臺上設置基礎設施後,採用Kubernetes部署容器化應用,通過其強大的編排能力,確保應用的高可用性,實現性能的優化,爲數據空間穩定運行提供有力保障。

第6步:開展試點和持續迭代。在數據空間全面部署之前,應試運行數據空間以驗證其功能,並收集反饋。試點階段有助於及早發現潛在問題,從而實現增強數據空間可用性和有效性的優化。

此階段涉及對一組選定的參與者進行實際測試,從而允許根據用戶體驗和反饋進行迭代改進。此外,還應設置相應的文檔,以便進一步簡化應用入門的門檻。

第7步:運營公司開始運營。準備好優化的數據空間後,下一步是將其發佈給更廣泛的受衆,包括加入更多參與者,確保符合國際標準與規範,並持續監控績效以優化運營。

可以使用雲服務商提供的工具如AWS Auto Scaling等技術來管理需求波動時的基礎設施資源分配。

成功的發佈不是結束,而是開始,持續的支持、用戶培訓和廣泛的參與對於持續成功和增長至關重要。通常涉及創建一家運營公司來監督所有這些方面。

最後不要忘了培養協作生態系統,讓參與者可以在其中分享見解、最佳實踐和創新,從而推動數據空間的持續發展。

數據空間的技術組件

數據空間是一個高度集成和協作的系統,其成功運作依賴於一系列精心設計的組件。瞭解了數據空間構建的過程,那麼現在就要具體說說數據庫空間構建的核心組件。

需要說明的是,數據空間的組件劃分的粒度不同,可能組件不同。

數據交換過程中涉及的組件 圖片來源於eclipse

數據空間的核心的組件必不可少,包括:

數據空間連接器:由於數據空間是聯合的去中心化生態系統,因此必須在每個數據源上部署連接器組件。連接器建立與數據提供者數據源的連接,管理數據源的元數據和數據使用條款,併發送或接收數據。

數據空間連接器是一種支持在不同系統之間無縫集成和交換數據的技術,是數據空間中的關鍵組件,可確保兼容性、安全性和高效通信。

通過實施訪問控制策略、身份驗證和信任管理,連接器爲數據交換提供了堅實的基礎。

數據空間連接器組件的不同計劃正在制定中,其中一些是開源的。例如IDSA編制了一份關於數據空間連接器的報告。其中許多與IDSA指南兼容,並努力實現互操作性,這是數據空間社區中受歡迎的功能。

目前市場上有不同的連接器規範可用,包括開源的Eclipse數據空間組件(EDC)、數據空間連接器(DSC)、FIWARE TRUE連接器(FTC)等。

最引人注目的項目之一是Eclipse Dataspace Components(EDC),是一個由 Eclipse基金會託管的開源項目,由多個組織積極開發,並得到了社區的額外支持和貢獻。

身份提供商:身份提供商負責根據可驗證憑證數據模型維護和驗證連接器(參與者)的身份。事實上,在數據空間中的任何操作之前,必須對每個連接器進行身份驗證。

身份提供商由三個子實體組成:證書頒發機構(CA)、參與者信息服務(ParIS)和動態屬性供應服務(DAPS)。CA負責頒發和吊銷身份證書。ParIS接收、保存和共享連接器自我描述,以供其他連接器查詢和檢索有關參與者身份的信息。最後,DAPS允許使用補充屬性(如參與者可信度的臨時更改、有關已知漏洞或正在使用的軟件組件的更新版本的信息以及證書吊銷)來豐富上述連接器自我描述並對其進行驗證。

身份提供商負責創建和管理參與者的身份信息。通過頒發數字證書和管理動態屬性,確保每個參與者都具有唯一且可信的身份標識,從而保障數據交換的安全性和可信度。

此服務在管理數據提供商和使用者的身份驗證和授權方面起着至關重要的作用,確保只有授權用戶才能訪問數據,並在數據交換過程的參與者之間建立信任。

中介服務提供者與策略引擎:通過身份驗證後,每個連接器都可以通過查詢數據目錄中元數據代理在數據空間中查找數據資產。數據目錄是一種中介服務,專門提供搜索功能,以及與其他感興趣的(即訂閱的)連接器共享相關信息(如狀態更新和新可用的數據),從而允許描述數據資產的元數據在生態系統中可用,根據當今廣泛使用的PUB/SUB範式。一旦作爲數據使用者的連接器識別出感興趣的數據資產,它就會繼續詢問另一方(充當數據生產者的連接器)的目錄,即共享數據或服務,以及他們的使用條款。策略引擎以策略的形式共享。

然後雙方可以開始合同談判以達成協議。如果成功,則可以啓動傳輸過程,否則將終止協商。每個轉賬過程都記錄在清算所中,清算所是一個跟蹤所有交易的組件;如果可計費,則Clearing House將與所涉及的連接器共享結算信息。

中介服務提供者存儲和管理數據來源信息,爲數據提供者和消費者提供元數據服務。數據目錄服務允許註冊新產品和查看現有數據資產,爲數據使用者提供了便捷的數據選擇方式,同時也使數據提供者能夠將其數據資產展示給潛在使用者,從而實現數據的共享和利用。

策略引擎服務負責在交換數據之前管理參與者之間的協定。它確保在數據交換過程中執行商定的策略和條款,從而爲數據治理和合規性提供框架。

除了這些核心組件外,也有一些支持組件。如身份管理涉及對數據交換生態系統中的用戶身份、訪問權限和權限的管理和控制,確保正確的個人或實體對數據具有適當的訪問權限,同時保持安全性和隱私性。

配置與合同管理:配置是根據參與組織的具體要求設置和自定義數據空間連接器及其關聯服務的過程,涉及定義連接參數、安全設置和其他配置,以實現順暢的數據交換。

合同管理涉及數據提供者和消費者之間合同的建立、協商和執行,包括定義數據交換的條款、條件和政策,以及監控和確保遵守商定的合同義務,以確保數據交換的順利進行並遵守相關條款和政策。

數據應用商店是一個平臺,供應用提供者發佈數據應用,而消費者和提供者可以在此搜索、下載和使用這些應用,促進了數據應用的發現和創新,提高了數據空間的實用性和價值。

數據空間管理組件:數據空間管理組件包括數據管理工具、參與者管理和監控與審計功能等,確保數據的完整性、可用性和安全性,同時記錄和分析數據空間的活動和操作,以便進行持續的優化和改進。

綜上所述,這些組件共同構成了數據空間的基礎架構,支持着數據的無縫交換、高效管理和安全控制。

數據空間技術組件的供應商

圖片來源:畢馬威

IDSA最新的Data Spaces Radar報告列出了145個正在進行的數據空間條目,處於不同的構建階段,其中有12個被認爲完全可操作的示例和一個已達到擴展階段的示例。

例如,Once Only技術系統數據空間,支持歐盟國家公共管理部門之間跨越國界共享信息。

Catena-X數據空間,促進汽車供應鏈公司共享數據,以提高該行業內供應鏈的透明度和可持續性。

EUropean Federation for CAncer IMages(EUCAIM)數據空間,使歐盟各地的研究人員能夠訪問不同的癌症圖像,以便對AI驅動技術進行基準測試、測試和試點。

不同國家的企業已經推出了不同數據空間構件的解決方案。

數據連接器作爲數據空間的“交通樞紐”,保障着數據在多元系統間的順暢流轉。數據猿曾經報道的零數可信數據空間,是解決數據要素提供方、中間服務方和數據使用方等主體之間安全與信任問題的分佈式關鍵數據基礎設施,保障數據要素能夠在安全可信的環境中匯聚、共享、開放和應用,助力數據要素實現高效的流通,充分發揮數據要素價值。

其數據連接器支持數據集成、計算和消費能力,通過連接器實現不同域之間數據的流通和可控使用,主要包含網絡管理、授權管理、數據應用三大模塊。

華爲在FusionData智能數據中心解決方案中打造了數據連接器模塊,具備數據傳輸能力,在高效性、可靠性與安全性上表現突出,爲企業實現內部數據的深度整合與外部數據的精準接入提供了堅實支撐。

AWS致力於將數據空間連接技術與自身服務無縫整合,使客戶能便捷地以標準化流程共享數據,並通過各類服務與工具挖掘數據價值。在數據空間的構建中,其依據參與者協議解決數據資產的發現與傳輸,AWS底層基礎設施爲Data Space Connector的安全、可靠、可擴展運行提供支撐,且助力數據傳輸後的使用與分析。數據空間連接器的可擴展性便於各方開發集成,藉助AWS功能打造高效數據利用的基礎設施。

在開源領域,Eclipse基金會的Eclipse數據空間組件(EDC)以豐富的功能組件,如身份中心和雲特定實現接口,爲開發者提供了高度定製化的數據連接方案,無論是對接公有云平臺還是構建混合雲架構的數據空間,都能靈活應對,拓展了數據空間的構建可能性。

同時,像Data Space Connector、True Connector、Trusted Connector等開源連接器,也以開源精神,爲數據連接器市場注入了新的活力,滿足了不同規模企業對於數據連接的多樣化需求。

數據市場是可信數據空間中的一個平臺,旨在連接起來數據生產者和數據消費者。例如阿里雲的數據中臺解決方案中的數據市場功能,依託阿里雲的雲計算基礎設施,實現了數據的集中管理與高效分發。

尚數網數據市場平臺專注於數據商品的全生命週期管理,從數據的上架審覈、版權確權到價值評估,每一個環節都嚴格把控,確保數據商品的質量與合法性。

認證與清算中心是數據空間安全有序運行的“守護者”。中國移動的數聯網(DSSN)方案中的認證中心,運用先進的身份識別技術,對數據生產者和消費者進行嚴格的身份審覈與認證,確保每一個接入數據空間的節點都具有合法、可信的身份。

清算中心則憑藉其精準的計費模型與高效的結算系統,保障了數據交易費用的準確計算與及時結算,爲數據交易的公平、公正、透明提供了有力保障,推動了數據在產業鏈上下游的順暢流通。

清雁科技的可信數據空間產品同樣將認證中心與清算中心作爲核心組件。通過認證中心,數據生產者和數據消費者可以相互確認對方的身份、信譽和資質,從而建立信任關係。清算中心是可信數據空間的收費中心和交易審覈中心。

在身份和訪問管理(IAM)組件方面,騰訊雲的CAM(Cloud Access Management)的IAM解決方案支持多種身份認證方式,包括用戶名/密碼、多因素認證(MFA)、數字證書等,能夠有效防止非法用戶的入侵。在授權管理方面,它採用基於角色的訪問控制(RBAC)模型,企業可以根據自身的組織架構和業務需求靈活定義角色和權限,實現對數據資源的最小化授權訪問。

深信服的IAM解決方案則側重於爲企業提供端到端的身份安全保障。除了具備常見的身份認證、授權和訪問控制功能外,它還特別關注身份的全生命週期管理,從用戶的註冊、入職到離職,都能進行有效的身份管理和權限調整。

您的企業是否爲數據交換與共享做好了準備?是否準備加入數據空間,交換數據,發揮數據要素價值,將數據變成資產,激活數據新商業價值呢?

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10