大数据平台建设和数据治理案例

一、背景

近年来, 随着金融科技的快速发展以及互联网机构不断加大数字金融布局,大数据平台建设和数据治理逐渐成为证券公司建设现代化投资银行面临的重要挑战。

基于大数据技术，整合现有数据，接入外部数据，构建高性能大数据平台，能够满足证券企业高计算、高存储、高负载的要求；通过数据治理，建设组织级标准体系、健全数据质量控制机制、加强数据内部协同、规范外部数据合作,提升数据管理水平来保障公司数据化战略的落地，保证数据的真实、准确、连续、完整，有利于提升公司的经营管理能力、改进管理效率，为投资银行业务高效发展保驾护航。

为了提高数据治理水平，进一步探索挖掘大数据价值，有效赋能前端应用，恒泰证券与星环科技合作，利用星环大数据基础平台Transwarp Data Hub（TDH）和大数据开发工具Transwarp Data Studio（TDS）进行大数据平台建设和数据治理，并在部署后的运行期间，数据资产规模突破120TB，数据库采集超过50个，采集表规模突破7000+，全年完成的开发需求超过200个，涉及部门数量10+，在大数据平台的支撑下开发了安全微管家、日志数据上链、埋点管理系统等，数据治理体系进一步完善，全年完成数据模型超过20个，大数据内外价值实践获得不断突破。

二、解决难点

随着数据量、数据结构、应用场景和金融风险发生显著变化，原有的传统数据分析技术运行效率难以满足企业业务需求。一方面基于开源平台的架构设计存在安全风险，另一方面数据处理缺乏统一规范，不同人员的理解和处理方法不一致，引起歧义，且方法难以复用和扩展。

面对上述问题，恒泰证券不断夯实大数据基础，进行节点扩容，保证数据存储、计算能力，同时利用基于Slipstream、Inceptor等TDH组件设计的星环平台架构替换原有开源平台架构，降低了大数据建设的安全风险；通过星环智能大数据资产目录catalog保证平台执行sql可追踪、智能分析，实现血缘表、影响表的影响排查，可到字段级别追踪，并自动绘制血缘影响分析图。

三、创新亮点

星环TDH产品在此案例中构建的大数据平台，帮助恒泰证券提高了数据实时计算和高性能分析能力，产品的先进性具体体现在如下层面：  

1、高吞吐、低延时的实时流计算引擎

Transwarp Slipstream支撑百万级高吞吐、毫秒级低延时业务需求。Slipstream支持事件驱动和微批处理两种模式，支持exactly-once语义、复杂事件处理（CEP）、规则引擎等功能，支撑SQL编程与开发。Slipstream可帮助用户快速开发实时数据仓库、实时报表分析、实时智能推荐等应用。

2、不断迭代更新的高性能分析引擎

Transwarp Inceptor提供PB级海量数据的高性能分析服务。跟开源方案相比，在性能与功能上有巨大优势：全球首个通过分析决策系统国际基准测试TPC-DS及官方审计的产品；支持完整的SQL标准语法，兼容Oracle、IBM DB2、TeraData方言，兼容Oracle和DB2的存储过程，可以平滑迁移应用；支持分布式事务处理，保障数据强一致性。

四、应用落地

基于恒泰证券的大数据平台建设和数据治理，赋能了许多创新应用落地，具体应用如下：

1、风控授信管理平台项目

授信管理作为公司的重要风险项，需要相关部门及时更新了解授信情况，通过该系统，可以及时查看授信相关重要信息，及时规避授信风险，并通过企业微信查看关键指标，提升工作效率。

2、埋点管理系统

客户端将记录客户操作时间、设备ID以及事件key。这些行为记录将被实时采集、解析并 终存储到大数据平台。通过埋点管理系统可对该信息进行查询、展示、统计以及管理。产品经理创建key，并将触发条件给到开发人员，开发人员根据需求埋入该点，并发布软件，产品经理就可以在埋点管理平台中做统计分析。

3、NSQ行情数据落地

利用NSQ行情服务将整个市场的行情快照数据、逐笔委托数据、逐笔成交数据进行落地固化。并且将 终的数据保存在大数据平台中，利用大数据平台的存储和计算资源进行数据分析。项目采用多线程组播的方式接收行情，有效保证了数据接收的及时性和稳定性。

4、BI日报系统

BI日报系统利用大数据平台自动化每天分析T-1日的公司层面的业务数据，并且自动化以Excel图表的方式通过邮件分发给相关人员。数据类型包括开户、资产、渠道、金融产品、公私基金等综合多维度数据，满足了公司领导和各业务人员对业务数据的基本分析需求。