联 系 我 们
售前咨询
售后咨询
微信关注:星环科技服务号
更多联系方式 >
5.5.2 部署 ArgoDB 实时数仓版
更新时间:11/25/2024, 7:02:59 AM
realtime

Transwarp Slipstream 是星环科技自主研发的企业级、高性能实时流计算引擎,支撑百万级高吞吐、毫秒级低延时业务需求。Slipstream 支持事件驱动和微批处理两种模式,支持 exactly-once 语义、复杂事件处理(CEP)、规则引擎等功能,支持SQL编程与开发。Slipstream 帮助用户快速开发实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。

更多详情您可以参考 Slipstream 产品介绍

Transwarp Event Store 是星环科技推出的一款高吞吐分布式 NoSQL 数据库,提供消息和事件的存储与处理服务。Event Store 支持数据持久化;支持数据从指定时间点重放,保证数据顺序性;具备弹性扩展和容错能力。Event Store 帮助用户快速开发日志收集、应用监控、流式数据处理、在线分析等应用。

更多详情您可以参考 Event Store 产品介绍

操作目的:安装ArgoDB+Kafka+Slipstream,数据实时入库即可分析。在正式安装之前,需要安装 TOS、License Service、Aquila 等基础服务。
第一步

单击【应用市场】,进入产品包管理页面

product file
第二步

单击【上传】,上传产品包

请联系星环技术支持获取产品安装包,然后将安装包上传至服务器。
第三步

上传产品包,等待数分钟,单击【下一步】

在正式安装 ArgoDB 之前,需要安装 TOS、License Service、Aquila 等基础服务。ArgoDB 安装包自带Kafka、Slipstream、元数据库 KunDB,无需另外添加。
第四步:在左侧导航栏选择仪表盘 > 集群,然后单击添加服务
  1. 选择产品 Transwarp ArgoDB 并选择 6.1 版本,至少添加 Quark、TDDMS、Compact Service、Kafka、Slipstream 服务,其他服务按需添加。

  2. 选择产品 Transwarp Basic,继续添加 HDFS、YARN、Zookeeper、KunDB 基础服务(9.3.1 版本),其他服务按需添加,版本关系如下:

    • KunDB:2.1.5

    • Guardian:3.2.4

    • 公共组件(HDFS、YARN、ZooKeeper 等):9.3.1

第五步:配置安全

可选择是否开启Kerberos认证模式,单击【下一步】

如果您选择简单认证模式,可以直接单击下一步

security

如果您选择 Kerberos 认证模式,输入 Kadmin 票据名、Kadmin 密码

security mode
需要先安装 Guardian 服务,才能够使用 Kerberos 认证。您可以参考 Guardian产品手册 完成安装。您也可以在 ArgoDB 安装完成后手动配置安全。
第六步

分配角色

操作目的:分配组件角色的安装节点。当服务仅部署一个时,您无需配置依赖关系;当服务部署多个时,您需要配置依赖关系,指定依赖的具体服务。
roles

确定节点规划

  • 管理节点,用于部署数据库管理服务,例如 Quark Server、TDDMS Server、NameNode、Slipstream Server 等

  • 计算节点和数据节点,用于执行任务和存储数据,例如 Nucelon Executor、TDDMS Tablet Server、DataNode、Slipstream Executor 等

如集群规模较大,建议区分管理节点与计算/数据节点。

N为机器/计算节点/数据节点数量

表 6. 约束与说明
组件 角色 部署的节点数 说明

Kafka or EventStore

Server

N

提供消息和事件的存储和处理服务

Rest

按需

提供了REST 接口访问方式

Slipstream

Slipstream Metastore

2

提供元数据管理服务

Slipstream Server

1

提供Slipstream管理服务

Slipstream Executor

N

提供实时数据处理服务

Quark

Quark Metastore

2

提供元数据管理服务

Quark Server

1

当同时存在跑批和交互式,可以考虑部署 2 个 Quark组件

当部署多个 Quark组件 时,推荐 Quark Server 部署在不同节点上。若部署在同一个节点上,需要配置不同的端口,避免端口冲突。

Nucelon Executor

N

推荐在所有节点部署;如集群规模较大,管理节点可以不部署

最好与数据节点共同部署,这样可以减少数据移动

Nucelon Executor 服务在接收查询子任务后,会创建 executor 实例执行任务。用户可以自定义实例的数量和实例资源分配。

TDDMS

TDDMS Master

3 或者 5

部署个数为奇数

ArgoDB 为提供系统高可用,在系统设计过程中采用分布式系统算法,如Raft协议。因此偶数个节点的容错能力跟比它小的最大的奇数个节点的容错能力是一样的,在这种情况下,部署个数建议为奇数。

TDDMS Master为多活架构,可同时提供服务并提供高可用

TDDMS Web Server

1

提供 TDDMS 界面化管理服务

TDDMS tablet Server

N

提供数据存储服务

HDFS

Httpfs

1

提供 HDFS 界面化管理服务

Name Service -NameNode

2 及以上

1 台为 Active NameNode,1台为StandBy NameNode,提供高可用保障

Name Service -JournalNode

3 及以上

JournalNode 提供 NameNode 同步

DataNode

N

提供文件存储服务

KunDB

KunGate

3 或者 5

部署个数为奇数

KunDB 并非节点数越多越好。KunDB 每个节点都是另一个节点的完整副本,所以节点数越多,数据冗余占用的资源越多,同时复制的成本也会增加,导致系统的运行效率降低。因此推荐为一个 KunDB 服务配置 3 个或 5 个节点。

Compact Service

Compact Service Server

1

提供小文件合并任务管理

Compact Service Executor

N

提供小文件合并服务

Compact Metastore

2

提供小文件合并元数据服务

Zookeeper

Zookeeper Server

3 或者 5 或者 7

部署节点数为奇数

20 个节点以下部署 3 个,20 个节点以上配置 5-7 个,不超过 7 个

YARN

Resource Manager

2

负责资源管理

Node Manager

3

负责容器的管理,并监控资源使用情况

History Server

1

存储和检索历史作业信息

Timeline Server

1

存储和检索应用程序的当前和历史信息

表 7. 在三节点集群模式下,我们推荐的角色分配方式如下:
组件 角色 节点1 节点2 节点3

Kafka or EventStore

Server

Rest

Slipstream

Slipstream MetaStore

Slipstream Server

Slipstream Executor

Quark

Quark MetaStore

Quark Server

Quark Executor

TDDMS

TDDMS Master

TDDMS web Server

TDDMS tablet Server

HDFS

httpfs

Name Service-NameNode

Name Service-journalNode

Data Node

KunDB

KunGate

Compact Service

Compact Service Server

Compact Service Executor

Compact metastore

Zookeeper

Zookeeper Server

YARN

Resource Manager

Node Manager

History Server

Timeline Server

如果查询仅需工作在 Local 和 LocalFast 模式下,为更好地支持高并发点查场景和简化配置流程,您可以选择安装 Local Quark 组件,该组件不包含 Executor 角色;部署完成后,组件内的 Gateway 角色会自动完成 Quark Server 的高可用配置。

第七步:配置服务

定义服务的名称和参数后,单击【下一步】

您可以根据资源与业务的实际情况,配置不同的参数。
第八步:服务总览

确认角色及参数,并单击【下一步】

第九步

安装ArgoDB,等待数分钟

第十步

检查集群状态,组件状态均为绿色健康。ArgoDB+Kafka+Slipstream 安装完成。

为保障更好的产品使用体验,完成部署后,请为所使用的服务安装最新的补丁(Patch)。
在重装服务时,需要确保服务残留数据彻底清除,否则可能导致重装失败。HDFS 安装失败您可以参考 HDFS安装失败