互联与高效利用，持续改善人类生存的环境

一、项目背景
国家电投集团内蒙古新能源有限公司(以下简称“内蒙古新能源公司”)成立于2012年8月15日，注册资本5.86亿元，资产总额106.48亿元，是国家电投集团北京电力有限公司的全资子公司。
公司主要从事新能源、配售电业务的投资、开发、建设、经营和管理。目前新能源装机容量146.4万千瓦，其中，内蒙区域95.7万千瓦，新疆区域50.7万千瓦。
近年来，凭借国家电力投资集团有限公司雄厚的资金、技术优势和内蒙古地区的资源优势，内蒙古新能源公司认真贯彻落实五大发展理念，坚守产业报国战略理想，立志用清洁能源的智慧、互联与高效利用，持续改善人类生存的环境。
内蒙古新能源公司致力于风力发电、太阳能发电、配售电、电站服务业等产业发展，积极开拓综合智慧能源、氢能、储能等新产业、新业态、新模式发展，着力建设清洁能源综合服务商，努力打造“零碳能源”、“零碳电力”品牌，树立国家电投集团公司清洁发展的新形象。

二、需求与挑战

内蒙古新能源公司在生产中面临的一系列挑战，如：
1）由于公司风电场的建设地点分散，需要对多个场站的实时运行情况集中进行监控，并把各场站、各厂家的设备运行参数集中起来，以便于比较分析。而现有的分散监控手段无法满足这些要求。
2）目前，公司发电机组的数据采集和监控系统都是由风电机组制造商配套提供，各厂家的系统互不兼容，一个公司内多套生产监控系统并存，一旦投入使用后，很难对其进行更新升级。
3）因为各风电场相距较远，且每个风场内风机数量又众多，所以每个风场都需要配置一定的工作人员，进行日常的运行监控，从而造成了人员的浪费。
4）目前内蒙新能源公司内部有各类业务系统，各个系统分散，无形中形成了数据孤岛，不利于公司的数字化。
因此，内蒙古新能源公司需要基于大数据平台，打造一个集数据采集、监控、运维、展示的一体化数据中台，利用实时流式计算技术，掌握4个风电场、1个光伏电站的实时数据、生产管理（物资、缺陷管理、台账）等经营数据，以及视频监控、无人机等的状态监测图像，实现整体数据资产标准化存储和管理。同时，通过AI分析+BI展示的手段，实现数据的实时可视化展现与统计分析。
数据中台主要满足以下四点需求：
1）实时性：风电、光伏电站、视频监控等信息实时采集与分析诊断。
2）海量数据存储：风机设备每秒30万数据点海量数据集中监视与监控。
3）可视化数据展示：数据实时可视化展示。
4）数据存储：各类数据标准化存储，形成企业数据资产。

三、实施方案

星环科技利用自研的大数据技术产品，对内蒙新能源公司的各类数据进行统一的采集及汇总，形成数据资产，落地沉淀为数据中台。
1.数据中台总体建设方案
数据中台总体建设方案如图1。数据中台按照分层的设计架构，分为大数据平台层和业务应用层。

                图1 数据中台总体建设方案

其中，大数据平台包含数据通道及数据采集功能、数据统一化处理、数据实时处理、数据仓库、数据并行计算、数据探索、数据访问服务、平台管理等。
大数据平台提供良好的二次开发接口规范，以及数据仓库、各种数据库级访问接口。二次开发基于成熟的算法模型库，能够独立开展数据探索工作，能调用分布式计算框架，进行海量数据建模和分析计算，同时允许用户建立独立的模型进行模拟演算。
现有传统关系数据库业务系统作为数据源，向大数据平台中的Transwarp Hyperbase提供业务数据，大数据平台将提供集中数据资产管理、整合分散的专项系统、集中企业级应用管理的功能，为企业提供数据整合、系统整合、应用整合的统一平台，如图2所示。

图2 数据中台的数据流程

在整个数据层面，大数据组件是未来公司统一大数据综合服务架构体系的重要组成部分，重点在数据管理和数据分析层面。大数据管理组件在已有基础进行扩展，为企业多源异构海量数据高性能融合、存储和计算提供支撑；大数据分析组件为决策分析平台提供技术补充，支撑上层企业辅助决策和运营监测两个抓手。
平台由3个集群组成，消息缓冲队列集群主要用于风机实时数据采集；流处理集群主要用于支撑实时数据检索和十分钟时间窗口平均数统计；数据存储分析集群主要用于存储历史数据，并基于风机历史数据做查询与统计分析。具体架构如图3所示。

图3 三个集群之间的数据流动

2.数据传输、采集与存储
风电场大数据分析平台数据采集协议支持但不限于IEC 60870-5-104通讯协议、OPC通讯协议、ModBus通讯协议等。
监控系统与风电场大数据分析平台数据传输采用多通道数据传输技术。
风电场大数据分析平台数据采集模块具备数据缓存功能，具备3天生产数据的缓存能力，具备500GB缓存存储容量。采集模块具备数据重传机制、断点续传的能力，系统具备3天以上数据重传及断点续传功能。
数据采集模块的数据点位具备配置功能,满足模拟量数据达到秒级采样频率（ 低1秒）。
数据永久存储采用Transwarp Hyperbase，支持多种数据类型,具有高速数据处理能力、高效OLAP和批量统计等。
每秒钟的实时风机数据经过流处理集群业务处理后，结果数据写入Transwarp Hyperbase数据库集群，Hyperbase每个表可以存几十亿至上百亿的数据，可以横向扩展至上千个列，并且列可以根据需求灵活扩展。
3.数据治理
数据治理体系建设的目的，是让数据工作成为一个有机整体，而不是各自为政，从而建立起数据拥有者、使用者、数据以及支撑系统之间的和谐互补关系，确保各类人员能够得到及时、准确的数据支持和服务。
1）数据治理流程
内蒙古新能源公司数据中台将实现基于数据共享的数据治理服务，提供数据标准的统一维护、元数据管理、数据质量管理、数据安全管理等数据治理相关的关键功能。
公司数据治理流程如下：
·数据标准定义。在数据资产盘点过程中，对数据资产进行业务、技术和管理定义，并获得对口部门的确认，从中挑选必须订立数据标准的资产项，开展数据标准编制工作，并 终发布。
·数据质量规范编制。在数据资产盘点过程中，基于数据定义及规则，与业务部门共同商定基础质量要求，编制数据质量规范。
·元数据登记。采集相关系统的元数据信息，包括表、字段、代码等信息，与数据资产建立关联关系，形成数据分布地图。
·数据资产管理体系架构。构建公司数据资产管理体系，制定组织架构、认责机制、数据管理办法、数据标准管理办法和流程、数据质量管理办法和流程、元数据管理办法和流程、数据管控平台建设方案，等等。
·数据整合及模型。以内蒙古新能源公司生产经营和过程数据为基础，建立中央数据库，覆盖公司主要信息系统，同时建立实时数据库，覆盖公司生产、风机设备等所有实时数据源。在数据整合基础上建设数据中台，加强数据深度收集和管理，挖掘数据背后隐藏的信息与价值，为业务提供统一的数据服务，辅助各级领导和管理人员及时掌握业务运营情况，并基于数据进行精准决策。
·技术架构设计与规划。深入开展系统集成和多系统协同应用，基本消除信息孤岛，提升系统集成共享水平；推进全局业务流程优化和主要信息系统的集成，发挥协同增值效应，逐步消除信息孤岛。

2）主题数据库规划
在数据仓库规划阶段，星环科技将自身的数仓建设经验和内蒙古新能源公司数据现状和长远规划作为工作的指导，确保数据仓库规划成果的完整性、全面性、发展性、先进性、及可操作性。
对原有业务系统数据进行接入形成数据湖沉淀，并对数据进行清洗加工处理， 终形成相关业务主题库，以分布式的形式对接上层应用。内蒙古新能源公司整体数仓架构如图4所示。

图4 公司整体数仓架构
3）数据质量检查
数据质量检查，如针对风机数据的质量检查，可以在实时流处理集群中进行，也可以在后期的数据入库后，通过离线批处理操作进行数据质量检查。

4）数据资产管理
数据资产管理主要包含以下内容：
·建立企业级数据标准、规范和数据管理流程。
·采用人工智能技术实现对企业数据的自动盘点，建立企业数据资产目录，梳理数据间的血缘关系。
·通过建立和捕获业务术语中的数据字典，并与技术性元数据进行同步，帮助技术人员理解关键数据元素。
·能够创建端到端的数据流和业务流，利用数据血缘示意图来展示数据和业务之间的影响、独立性、重复性、存储等内容。
·通过公共平台分享，实现企业资产的共享和标准规范的普及。

5.数据挖掘与建模
后期，需要对存储在大数据平台的风机数据进行数据挖掘与建模，平台需要使用R语言进行统计分析与挖掘，并运行在分布式计算框架中，利用R丰富的统计分析库和丰富的图形可视化方法来分析大数据平台中存储的数据。用户通过R可以分析从HDFS中读出的数据，以及SQL查询返回结果数据。
平台需要集成RStudio开发环境。用户除了可以自行编写R的程序脚本、调用开源版本R提供了数千个R的包和函数之外，还可以直接调用Transwarp R实现的并行化机器学习算法库。Transwarp R目前实现的并行化机器学习算法已经提供了常用的分类、聚类、回归等功能，还会根据进一步的具体需求在平台开发的中进一步实现更多的并行化算法。

四、应用效果

随着网络通信技术、软件应用技术和远程控制技术的发展，面对风电场风电机组高并发下产生的海量数据，以及企业自身对于风电机组实时信息处理的需求，能源电力行业企业基于大数据平台建立一个数据中台不但非常必要，进一步加强数据治理，推进企业数字化，发挥数据的价值，而且会降低运营成本，提高运营效率，实现生产经营模式的创新发展。
1.建立数据中台，提高公司整体的管理效率和运行效率。
内蒙古新能源公司的数据中台实践表明，数据中台可以实现风电机组准确、实时和统一的信息采集；实现机组的远程集中监视、控制及统一调度，降低了管理成本；实现了实时告警、在线诊断故障，及时处理故障，降低发电量等损失；实现海量数据存储，为风机运行优化、性能提升，提供精准的数据支撑；结合大数据实现移动化办公，为公司提供全方位任何地点、时间的在线经营与监控，提高公司整体的管理效率和运行效率。
2.实现设备状态实时监控与报警。
星环大数据平台能够一键提供大数据组件服务，满足数据采集、海量多源异构数据存储、数据治理、数据目录、离线处理、流式处理、数据检索、数据挖掘、报表展示等大数据处理场景。
建立在星环大数据平台之上的数据中台，通过对风电场、光伏电站、摄像头及无人机视频实时采集，达到设备状态的实时监控与报警。
设备监控带来的主要价值包括：
优化人员，通过合理的架构与技术配置，做到设备的远程监控，减少人员的现场巡检次数，降低人员的投入。
降低设备成本，通过设备实时的报警，可以迅速定位设备故障并及时维修，减少因设备维修不及时带来的次生故障增加设备的维修成本。
3.输出服务体系，解决业数字化转型过程中诸多痛点。
从信息化到数字化，企业在数字化转型过程中会诸多痛点，如数据服务的提供效率与业务诉求严重不匹配，数据没有资产化，数据价值难呈现，数据孤岛普遍存在，存储计算结构复杂等。
针对这些痛点，目前比较好的解决办法包括：提供动态数据服务，形成数据服务生成体系；建立数据资产化体系，打通数据全维度，建设工程化AI算法引擎和标签类目体系；让数据自然流动，建立数据标准，屏蔽存储计算差异，数据重新组织等。
实践证明，数据中台提供一套完整的解决方案。其中，服务体系是数据中台能力的出口，数据服务是数据与业务之间的连接器，也是数据中台为业务前台赋能的主要通道。数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。
内蒙古新能源公司的数据中台能够提供多样类型数据服务，包括标签服务化，响应快速，对使用者技术要求低；自定义SQL服务化，灵活性高，赋予数据服务能力；算法模型服务化，部署算法模型、赋能算法人员工程化能力；注册API服务化，统一管理和输出API、企业服务能力中心等。