构建数据空间只需这几步,释放数据新价值

蓝鲸财经
03 Jan

文|数据猿

最近国家数据局印发了《可信数据空间发展行动计划(2024—2028年)》,明确提出,到2028年要建成100个以上可信数据空间的目标。

同时,《行动计划》提出,以深化数据要素市场化配置改革为主线,分类施策推进企业、行业、城市、个人、跨境可信数据空间建设和应用,同时支撑构建全国一体化数据市场。

其实可信数据空间是实现数据资源共享、共用的一种数据流通、利用的基础设施,是数据要素价值共创的应用生态。《欧洲数据战略》(2020年)就提出创建一个单一的欧洲数据市场,以维护个人的数据隐私,同时支持将数据用于竞争和创新。

目前国内外一些集团企业、行业和组织都致力于可信数据空间的建设,也取得一些成果。但是数据空间仅局限于企业、行业等,应用效果相对有限。

那么,数据空间建设很复杂吗?如何构建数据空间?需要哪些组件?又有哪些解决方案呢?

First look,7步构建数据空间

随着数据要素市场的逐步建立,数据空间越来越受欢迎。作为一种通过共同商定的原则实现可信数据共享和协作的去中心化方法,数据空间构成了最新的公共和私有数据交换计划的基础,突破了在企业、部门、个人、甚至国家等之间共享有价值数据的恐惧,从而从数据中释放新的商业价值。

数据空间示意图 图片来源:AWS

数据空间有几个核心要点:核心目标是使不同数据生态系统各方之间能够进行数据交易;组织保持对数据的控制,同时确保跨平台和行业互操作性;数据交易是安全、去中心化的。

其实数据空间概念并不神秘,但是构建一个数据空间因为涉及众多参与方,涉及众多的技术和方案,因此相当复杂。

不过通过以下7个步骤,我们就可以构建一个数字空间。

第1步:定义愿景。任何一个成功的项目都始于清晰的愿景。在设立愿景时,将数据空间目标与利益相关者总体目标对齐,通常围绕可持续性和共赢,确保数据空间实现有意义的目标。

总体而言,数据空间应解决眼前挑战,同时与长期战略目标保持一致,培养负责任的创新文化。

目前,数据空间潜在用于医疗保健,通过安全互操作环境,共享医学研究数据,加速研究和改善服务,如欧洲健康数据空间计划。

智慧城市,集成城市系统数据,优化城市规划、交通管理和公共服务,实现便民服务。

制造业供应链,实现供应商、制造商和物流提供商间实时数据交换,提高透明度和效率,达到创新、成本降低等目标。

第2步:利益相关者协同。数据空间的良好运作离不开各方的协作,需要众多利益相关者如数据的提供者、使用者、管理者以及监管者等共同参与。

在数据空间的构建初期,就让利益相关者参与其中具有重大意义,能够确保全面了解各方的需求和期望,从而在数据的访问规则、使用方式以及保留期限等方面制定出合理且可行的策略。例如,医疗数据空间中,让医院、医生、患者以及研究机构等早期参与,能精准确定患者数据的使用权限和保密程度,为后续的顺畅运行奠定基础。

当利益相关者积极参与数据空间的各项事务时,有助于建立起彼此之间的信任和透明度。比如在金融数据空间,银行、金融监管部门和客户等利益相关者的深度参与,使数据的使用公开透明,增强了整个金融体系的稳定性和可信度,保障了各方权益,促进数据空间健康发展。

第3步:制定治理框架。数据空间的稳健发展离不开完善的治理框架。首先,明确清晰的治理框架能够为后续的技术实施筑牢根基,因其提供了规范与准则,从而吸引更多元的参与者加入数据空间生态。

安全性作为数据空间的关键核心,在项目实施中需全面落实安全协议,涵盖数据加密,确保数据传输与存储的保密性;精细的访问控制,依据不同角色与权限分配数据访问级别;以及严谨的审计流程,对数据的操作进行记录与审查等。

尤为重要的是,治理框架必须经由各利益相关者共同商议确定,不仅能有效保护数据的安全与隐私,防止数据泄露与滥用,还能在参与者之间建立起坚实的信任信心,推动数据空间健康、有序地发展。

第4步:设计数据空间基础架构。设计强大的架构对于数据空间的扩展至关重要。目前市场上有不同的数据空间架构,如Eclipse Dataspace Components(EDC),是一个开源项目,为构建数据空间提供了一个可扩展框架。

设计的架构应灵活可扩展,适应未来增长和行业标准变化。同时架构必须支持分布式数据管理,实施数据主权,并确保无缝互操作性。数据主权可确保数据所有者保留对其数据的控制权,包括数据在数据空间内的共享和使用方式。

设计数据空间架构时应包括关键组件,如数据连接器,实现安全数据交换和策略实施;身份和访问管理(IAM),管理身份验证和授权;数据目录支持数据发现和元数据管理等。

第5步:开发数据空间基础设施。开发数据空间基础设施存在两种主要途径:一是本地部署,企业可依据自身实际情况,在内部构建专属的数据空间基础设施,便于进行高度定制化管理。

二是云上部署,如今越来越多的企业选择这一方式。借助云原生技术,能显著提升运营效率,有效简化数据空间管理流程,降低复杂性,同时减少成本投入。

像阿里云、腾讯云或者AWS等云平台,都是常见的选择。在这些云平台上设置基础设施后,采用Kubernetes部署容器化应用,通过其强大的编排能力,确保应用的高可用性,实现性能的优化,为数据空间稳定运行提供有力保障。

第6步:开展试点和持续迭代。在数据空间全面部署之前,应试运行数据空间以验证其功能,并收集反馈。试点阶段有助于及早发现潜在问题,从而实现增强数据空间可用性和有效性的优化。

此阶段涉及对一组选定的参与者进行实际测试,从而允许根据用户体验和反馈进行迭代改进。此外,还应设置相应的文档,以便进一步简化应用入门的门槛。

第7步:运营公司开始运营。准备好优化的数据空间后,下一步是将其发布给更广泛的受众,包括加入更多参与者,确保符合国际标准与规范,并持续监控绩效以优化运营。

可以使用云服务商提供的工具如AWS Auto Scaling等技术来管理需求波动时的基础设施资源分配。

成功的发布不是结束,而是开始,持续的支持、用户培训和广泛的参与对于持续成功和增长至关重要。通常涉及创建一家运营公司来监督所有这些方面。

最后不要忘了培养协作生态系统,让参与者可以在其中分享见解、最佳实践和创新,从而推动数据空间的持续发展。

数据空间的技术组件

数据空间是一个高度集成和协作的系统,其成功运作依赖于一系列精心设计的组件。了解了数据空间构建的过程,那么现在就要具体说说数据库空间构建的核心组件。

需要说明的是,数据空间的组件划分的粒度不同,可能组件不同。

数据交换过程中涉及的组件 图片来源于eclipse

数据空间的核心的组件必不可少,包括:

数据空间连接器:由于数据空间是联合的去中心化生态系统,因此必须在每个数据源上部署连接器组件。连接器建立与数据提供者数据源的连接,管理数据源的元数据和数据使用条款,并发送或接收数据。

数据空间连接器是一种支持在不同系统之间无缝集成和交换数据的技术,是数据空间中的关键组件,可确保兼容性、安全性和高效通信。

通过实施访问控制策略、身份验证和信任管理,连接器为数据交换提供了坚实的基础。

数据空间连接器组件的不同计划正在制定中,其中一些是开源的。例如IDSA编制了一份关于数据空间连接器的报告。其中许多与IDSA指南兼容,并努力实现互操作性,这是数据空间社区中受欢迎的功能。

目前市场上有不同的连接器规范可用,包括开源的Eclipse数据空间组件(EDC)、数据空间连接器(DSC)、FIWARE TRUE连接器(FTC)等。

最引人注目的项目之一是Eclipse Dataspace Components(EDC),是一个由 Eclipse基金会托管的开源项目,由多个组织积极开发,并得到了社区的额外支持和贡献。

身份提供商:身份提供商负责根据可验证凭证数据模型维护和验证连接器(参与者)的身份。事实上,在数据空间中的任何操作之前,必须对每个连接器进行身份验证。

身份提供商由三个子实体组成:证书颁发机构(CA)、参与者信息服务(ParIS)和动态属性供应服务(DAPS)。CA负责颁发和吊销身份证书。ParIS接收、保存和共享连接器自我描述,以供其他连接器查询和检索有关参与者身份的信息。最后,DAPS允许使用补充属性(如参与者可信度的临时更改、有关已知漏洞或正在使用的软件组件的更新版本的信息以及证书吊销)来丰富上述连接器自我描述并对其进行验证。

身份提供商负责创建和管理参与者的身份信息。通过颁发数字证书和管理动态属性,确保每个参与者都具有唯一且可信的身份标识,从而保障数据交换的安全性和可信度。

此服务在管理数据提供商和使用者的身份验证和授权方面起着至关重要的作用,确保只有授权用户才能访问数据,并在数据交换过程的参与者之间建立信任。

中介服务提供者与策略引擎:通过身份验证后,每个连接器都可以通过查询数据目录中元数据代理在数据空间中查找数据资产。数据目录是一种中介服务,专门提供搜索功能,以及与其他感兴趣的(即订阅的)连接器共享相关信息(如状态更新和新可用的数据),从而允许描述数据资产的元数据在生态系统中可用,根据当今广泛使用的PUB/SUB范式。一旦作为数据使用者的连接器识别出感兴趣的数据资产,它就会继续询问另一方(充当数据生产者的连接器)的目录,即共享数据或服务,以及他们的使用条款。策略引擎以策略的形式共享。

然后双方可以开始合同谈判以达成协议。如果成功,则可以启动传输过程,否则将终止协商。每个转账过程都记录在清算所中,清算所是一个跟踪所有交易的组件;如果可计费,则Clearing House将与所涉及的连接器共享结算信息。

中介服务提供者存储和管理数据来源信息,为数据提供者和消费者提供元数据服务。数据目录服务允许注册新产品和查看现有数据资产,为数据使用者提供了便捷的数据选择方式,同时也使数据提供者能够将其数据资产展示给潜在使用者,从而实现数据的共享和利用。

策略引擎服务负责在交换数据之前管理参与者之间的协定。它确保在数据交换过程中执行商定的策略和条款,从而为数据治理和合规性提供框架。

除了这些核心组件外,也有一些支持组件。如身份管理涉及对数据交换生态系统中的用户身份、访问权限和权限的管理和控制,确保正确的个人或实体对数据具有适当的访问权限,同时保持安全性和隐私性。

配置与合同管理:配置是根据参与组织的具体要求设置和自定义数据空间连接器及其关联服务的过程,涉及定义连接参数、安全设置和其他配置,以实现顺畅的数据交换。

合同管理涉及数据提供者和消费者之间合同的建立、协商和执行,包括定义数据交换的条款、条件和政策,以及监控和确保遵守商定的合同义务,以确保数据交换的顺利进行并遵守相关条款和政策。

数据应用商店是一个平台,供应用提供者发布数据应用,而消费者和提供者可以在此搜索、下载和使用这些应用,促进了数据应用的发现和创新,提高了数据空间的实用性和价值。

数据空间管理组件:数据空间管理组件包括数据管理工具、参与者管理和监控与审计功能等,确保数据的完整性、可用性和安全性,同时记录和分析数据空间的活动和操作,以便进行持续的优化和改进。

综上所述,这些组件共同构成了数据空间的基础架构,支持着数据的无缝交换、高效管理和安全控制。

数据空间技术组件的供应商

图片来源:毕马威

IDSA最新的Data Spaces Radar报告列出了145个正在进行的数据空间条目,处于不同的构建阶段,其中有12个被认为完全可操作的示例和一个已达到扩展阶段的示例。

例如,Once Only技术系统数据空间,支持欧盟国家公共管理部门之间跨越国界共享信息。

Catena-X数据空间,促进汽车供应链公司共享数据,以提高该行业内供应链的透明度和可持续性。

EUropean Federation for CAncer IMages(EUCAIM)数据空间,使欧盟各地的研究人员能够访问不同的癌症图像,以便对AI驱动技术进行基准测试、测试和试点。

不同国家的企业已经推出了不同数据空间构件的解决方案。

数据连接器作为数据空间的“交通枢纽”,保障着数据在多元系统间的顺畅流转。数据猿曾经报道的零数可信数据空间,是解决数据要素提供方、中间服务方和数据使用方等主体之间安全与信任问题的分布式关键数据基础设施,保障数据要素能够在安全可信的环境中汇聚、共享、开放和应用,助力数据要素实现高效的流通,充分发挥数据要素价值。

其数据连接器支持数据集成、计算和消费能力,通过连接器实现不同域之间数据的流通和可控使用,主要包含网络管理、授权管理、数据应用三大模块。

华为在FusionData智能数据中心解决方案中打造了数据连接器模块,具备数据传输能力,在高效性、可靠性与安全性上表现突出,为企业实现内部数据的深度整合与外部数据的精准接入提供了坚实支撑。

AWS致力于将数据空间连接技术与自身服务无缝整合,使客户能便捷地以标准化流程共享数据,并通过各类服务与工具挖掘数据价值。在数据空间的构建中,其依据参与者协议解决数据资产的发现与传输,AWS底层基础设施为Data Space Connector的安全、可靠、可扩展运行提供支撑,且助力数据传输后的使用与分析。数据空间连接器的可扩展性便于各方开发集成,借助AWS功能打造高效数据利用的基础设施。

在开源领域,Eclipse基金会的Eclipse数据空间组件(EDC)以丰富的功能组件,如身份中心和云特定实现接口,为开发者提供了高度定制化的数据连接方案,无论是对接公有云平台还是构建混合云架构的数据空间,都能灵活应对,拓展了数据空间的构建可能性。

同时,像Data Space Connector、True Connector、Trusted Connector等开源连接器,也以开源精神,为数据连接器市场注入了新的活力,满足了不同规模企业对于数据连接的多样化需求。

数据市场是可信数据空间中的一个平台,旨在连接起来数据生产者和数据消费者。例如阿里云的数据中台解决方案中的数据市场功能,依托阿里云的云计算基础设施,实现了数据的集中管理与高效分发。

尚数网数据市场平台专注于数据商品的全生命周期管理,从数据的上架审核、版权确权到价值评估,每一个环节都严格把控,确保数据商品的质量与合法性。

认证与清算中心是数据空间安全有序运行的“守护者”。中国移动的数联网(DSSN)方案中的认证中心,运用先进的身份识别技术,对数据生产者和消费者进行严格的身份审核与认证,确保每一个接入数据空间的节点都具有合法、可信的身份。

清算中心则凭借其精准的计费模型与高效的结算系统,保障了数据交易费用的准确计算与及时结算,为数据交易的公平、公正、透明提供了有力保障,推动了数据在产业链上下游的顺畅流通。

清雁科技的可信数据空间产品同样将认证中心与清算中心作为核心组件。通过认证中心,数据生产者和数据消费者可以相互确认对方的身份、信誉和资质,从而建立信任关系。清算中心是可信数据空间的收费中心和交易审核中心。

在身份和访问管理(IAM)组件方面,腾讯云的CAM(Cloud Access Management)的IAM解决方案支持多种身份认证方式,包括用户名/密码、多因素认证(MFA)、数字证书等,能够有效防止非法用户的入侵。在授权管理方面,它采用基于角色的访问控制(RBAC)模型,企业可以根据自身的组织架构和业务需求灵活定义角色和权限,实现对数据资源的最小化授权访问。

深信服的IAM解决方案则侧重于为企业提供端到端的身份安全保障。除了具备常见的身份认证、授权和访问控制功能外,它还特别关注身份的全生命周期管理,从用户的注册、入职到离职,都能进行有效的身份管理和权限调整。

您的企业是否为数据交换与共享做好了准备?是否准备加入数据空间,交换数据,发挥数据要素价值,将数据变成资产,激活数据新商业价值呢?

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10