TDC 3.2 发布：增强数据开放能力 促进企业数据共享与流通

5月26日向星力•未来数据技术峰会上，星环科技数据云平台 Tanswarp Data Clould（简称TDC）发布3.2版本，新版本新增三大功能：支持星环科技大数据基础平台 Transwarp Data Hub 底座就地升级到 TDC；基于多租户技术的内部数据共享，打破数据孤岛；基于TDC打造的外部数据流通，帮助企业提升数据开放能力。

支持大数据基础平台TDH底座就地升级到TDC

TDH 底座升级到 TDC 后，利用 TDC 的云原生能力，有以下三点优势：

第一，提高资源利用率，利用云化统一管理资源池，实现大数据产品的计算、存储资源池化，提高调度资源的灵活性；

第二，统一管理与精准运维，统一管理和资源虚拟化，按需提供资源，释放运维人员的时间与精力，大幅提升运维效率；

第三，保障数据安全与隔离，通过多租户隔离技术，实现各个业务部门之间的数据隔离和独立，更稳定、更安全。

以某金融机构经典的数仓场景为例，企业需要建设一些数据挖掘平台时，可能面临算力不足，此时 简单的扩容方式是在原有的节点上继续扩展，但这种方式不具备云原生资源灵活调度的能力。如果把资源扩展到 TDC上，可以将原有的 TDH 集群当成一个TDC租户来管理，并且把数据共享给新增加的租户，同时，通过统一的管理来获得原有 TDH 集群中的数据和资源。

升级到 TDC的第一个核心优势是保证安全与隔离，保证租户之间在资源、数据、应用等方面的完全隔离。

其中应用隔离是指不同租户的服务属于不同的实例，彼此之间完全隔离，所有的应用服务运行在独立的命名空间中，每个都是独立的进程。

数据隔离是指每个租户使用独立的存储空间，进而保证租户之间数据的隔离性。另一方面，每个企业可以构建一个用于做数据共享的租户空间，通过共享存储及细粒度的数据权限控制和审批流程来做租户之间的数据共享交换。

资源隔离是指每个租户拥有独立的网络，通过 Net Policy 设定租户间网络访问策略，确保租户之间网络的隔离性，同时，采用统一的磁盘资源池化技术，不同租户使用不同 Volume group 做相互隔离，每个租户使用独立的操作系统命名空间，TDC将基于CPU和内存资源的申请和使用量做调度，保证计算资源的隔离性。

运行时隔离是指，通过容器实现运行环境之间的隔离，进程之间无法感知， 小化Docker内用户和Root权限，降低出现非法操作的可能性。

升级到 TDC 的第二个核心优势是基于负载和时间计划的自动弹性伸缩，通过自动弹性伸缩技术，多个租户可在集群资源空余时，自动将空闲资源加到需要资源的实例上，充分利用整个集群的资源。

在公司内部数据共享场景中，可能需要建设一个实验室租户。实验室计算场景和生产环境可能会存资源争抢的问题，此时 TDC 可以基于负载情况动态调配CPU 资源。在金融领域经典的分析场景中，白天在线分析，晚上离线批处理，TDC 可以根据白天和晚上业务需求的不同来动态的调配资源，解决资源浪费，利用率很低的问题。

升级到 TDC 的第三个核心优势是基于云原生技术的存算解耦，基于 TDC的云原生能力可以把异构的 CPU 完全池化，并且租户间完全隔离。作为租户，TDC在创建一个租户时直接用硬隔离的方式，让上端的计算资源使用。如果停止使用，这些租户可以销毁，所以才能够做到秒级冗余的效率，它的资源是完全动态化的。所以让上层计算的场景、计算的应用，可以非常贴合计算和存储两种方式，来达到性能的 优化。

基于多租户技术的内部数据共享，解决存算解耦，让扩展更加便捷

以数据实验室在企业内的应用实践为例，来理解 TDC 在企业内部数据共享场景中的应用。数据实验室分析人员为了提高分析效率，需要用生产环境的数据去做模型的预测或者去验证某些数据是否可以到的预期的结果。虽然属于实验场景，但是不能用测试环境的数据，一定要用生产环境的数据。在业务上，数据实验室主要服务于业务(非技术)+技术(非大数据)部门数据分析人员，提高数据分析效率，有效支持业务部门便捷地使用数据资产。在技术上，数据实验室需要保证与数据湖及其它产线环境之间在资源、数据、应用、权限等方面的完全隔离。

传统数据实验室，计算资源有限，数据量较小，业务需求少而且集中，数据仓库初步建成，技术架构多采取 MPP/大数据技术，在同一个集群/服务器上分库/schema，数据逻辑隔离，计算不隔离。基于多租户的数据实验室采用多租户云计算技术，计算资源充足，数量较大，业务需求非常复杂，采用多租户隔离机制，保障数据隔离，资源隔离和权限隔离。

数据实验室的作用是什么？数据合规共享方面存在一个矛盾：效率越高，安全性就会越低。而通过数据实验室可以解决不愿意共享、不能共享的问题。数据实验室可以分成三类：共享存储实验室：多个实验室共享使用同一个存储，各有单独的计算资源，但共享使用存储资源。独立实验室：完全独立的计算和存储资源，隔离性 优，并能面对固定使用部门的不确定，对计算资源进行弹性扩缩容。轻量级实验室：轻量级独立空间，包含轻量化数据库、SQL开发工具、BI报表开发功能。TDC可以通过多租户的能力和统一Paas管理能力，解决这三种不同实验室的需求。

基于TDC打造的外部数据流通，从数据资产到数据要素

对外共享的数据需要按照安全级别分类，比如购买数据的乙方在获得甲方的数据的时候，不允许直接使用，只能使用计算结果。针对不同的等级要通过不同的技术手段来解决。比如，G2 等级的数据，可以利用数据沙箱的方式解决。G3 等级的数据，可以通过联邦学习的手段来解决。

外部数据流通需要解决三点问题：安全可信的数据流通平台、分级数据的不同交付方式、多种场景的统一运营管控。基于 TDC 的数据流通解决方案，针对多个数据消费方、数据流通平台，通过多租户的形式，同时可以针对不同等级、不同消费方的要求开辟隐私计算区。

截至目前，星环科技数据云平台 TDC 已经在数十家大型企业落地，覆盖多个行业。其中典型案例包括：为江苏农信建设的大数据 DaaS 应用平台，提升了江苏农信数据输出服务能力；为上海大数据中心建设了上海市数据共享交换平台，为一网通办、政府大屏、政务决策等政务应用提供支撑，有效提升政府部门办事效率；为中化中化信息大数据平台建设提供了一站式的大数据解决方案，充分整合和管理企业各个系统全生命周期数据，快速挖掘数据背后的价值，综合提升企业管理和运营能力。