安装概述

在本手册中，您将了解如何安装 ArgoDB 的完整过程。主要包括：

软硬件环境检查：介绍如何检查服务器配置、操作系统、浏览器是否满足要求。
安装前配置：介绍如何配置系统运行过程中所需的文件目录，确保系统运行正常；确认网络配置、Java 环境、NTP 服务器配置、安全配置、节点访问配置。
安装 Manager：介绍如何安装 Manager 并实现集群管理，后续基于 Manager 即可一键安装和管理 ArgoDB 集群。
安装 ArgoDB：介绍如何安装 ArgoDB 标准版、实时数仓版、湖仓集平台 TDH+ArgoDB。

软硬件环境检查

操作目的：检查服务器配置、操作系统、浏览器是否满足要求

服务器

支持 X86/ARM 架构及国产 CPU 平台，集群的节点数至少为 3 个。

具体节点数的部署及规划，请参考节点规划。

最低配置要求

CPU：2 颗 6 核带超线程的 X86 指令集 CPU 或同等性能 ARM 指令集 CPU
内存：128 GB
存储：6*600 GB 的 HDD 磁盘或多块 SSD 磁盘
网络：千兆或万兆的网卡

表 1. ArgoDB硬件配置建议
分类	CPU	CPU 型号参考	内存	系统盘	数据存储	网络
高配	Intel® Xeon® Gold 系列备注：2 路 CPU/节点	Intel® Xeon® Gold 6248R Processor 24 core 3.00 GHz	512GB	SAS HDD 600GB 备注：两块 RAID1	NVMe SSD 2TB 备注：12 块做数据盘	万兆光口
中配	Intel® Xeon® Gold 系列备注：2 路 CPU/节点	Intel® Xeon® Gold 6248R Processor 24 core 3.00 GHz	256GB	SAS HDD 600GB 备注：两块 RAID1	SAS/SATA SSD 2TB 备注：12 块做数据盘，单盘 RAID0	万兆光口
低配	Intel® Xeon® Silver 系列备注：2路 CPU/节点	Intel® Xeon® Silver 4210 Processor 10 core 2.20 GHz	128GB	SAS HDD 600GB 备注：两块做 RAID1	SAS HDD 2TB 备注：12 块 SAS HDD 做数据盘，单盘 RAID0	万兆光口
国产	鲲鹏系列飞腾系列	鲲鹏 920 飞腾 2000	参考高中低选配			万兆光口

操作系统

操作系统	版本	架构
CentOS/RHEL/BC-Linux	7.x	x86_64、aarch64
CentOS/RHEL	8.x	x86_64
openEuler	20	aarch64
22	x86_64、aarch64
KYLIN	v4	x86_64、aarch64
v10	x86_64、aarch64、sw_64
NEOKYLIN	7.x	mips64el
SUSE Linux Enterprise Server（SLES）	12	x86_64
UnionTech OS Server（UOS）	20（1050a）	x86_64
20（1050e）	x86_64、aarch64
UnionPay Enterprise Linux（UPEL）	2.0	aarch64

版本

架构

CentOS/RHEL/BC-Linux

7.x

x86_64、aarch64

CentOS/RHEL

8.x

x86_64

openEuler

20

aarch64

22

x86_64、aarch64

KYLIN

v4

x86_64、aarch64

v10

x86_64、aarch64、sw_64

NEOKYLIN

7.x

mips64el

SUSE Linux Enterprise Server（SLES）

12

x86_64

UnionTech OS Server（UOS）

20（1050a）

x86_64

20（1050e）

x86_64、aarch64

UnionPay Enterprise Linux（UPEL）

2.0

aarch64

您可以单独安装或 PXE 安装的方式来安装服务器的操作系统，其中单独安装方式是使用 Red Hat Enterprise Linux for Servers、CentOS 系列或 SUSE Linux Enterprise Server 的安装光盘在每台服务器上独立安装操作系统。

对于 Red Hat Enterprise Linux for Servers、CentOS 系列的操作系统，需要使用 visudo 命令打开 /etc/sudoers 配置文件，然后将该文件中的 Defaults requiretty 注释掉。

如要使用非 root 用户安装产品，使用的用户必须拥有 sudo 权限。所以，管理员需要向 /etc/sudoers 配置文件中添加 sudo 用户。方法为在该文件以下部分最后一行的内容。

需替换下述信息中的 sudo用户 为真实的用户名。

## The COMMANDS section may have other options added to it.
##
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
sudo用户           ALL=(ALL)       NOPASSWD: ALL

国产化适配

国产服务器：鲲鹏、飞腾、龙芯、海光等
国产操作系统：银河麒麟、中标麒麟、统信 UOS 等

常用国产化组合：Kunpeng 920 3210 + Kylin V10

浏览器

浏览器	版本
Google Chrome（推荐）	87 及以上
FireFox	64 及以上
Safari	11.1.2 及以上 12.0.2 及以上
Edge	79 及以上

版本

Google Chrome（推荐）

87 及以上

FireFox

64 及以上

Safari

11.1.2 及以上

12.0.2 及以上

Edge

79 及以上

安装前配置

为确保安装流程的顺利进行，在正式安装前，我们需要完成分区、网络、Java 环境、安全、NTP 服务等配置，本章节将介绍具体的操作流程。

分区配置

请严格按照本文介绍的目录进行分区设置。

表 2. 分区目录
分区	挂载目录
系统分区	/
数据分区	/mnt/disk<number>，如/mnt/disk1
Docker分区	/var/lib/docker
日志分区	/var/log

表 3. 示例：某节点磁盘配置为 6*600G HDD 和 2*1T SSD
磁盘分区	大小	挂载目录	文件系统类型
/dev/sda1	400GB	/	XFS
/dev/sda2	32GB	swap
/dev/sda3	168GB	/var/log	XFS
/dev/sdb1	600GB	/mnt/disk1	XFS
/dev/sdc1	600GB	/mnt/disk2	XFS
/dev/sdd1	600GB	/mnt/disk3	XFS
/dev/sde1	600GB	/mnt/disk4	XFS
/dev/sdf1	600GB	/var/lib/docker	XFS
/dev/sdh1	1TB	/mnt/disk5	XFS
/dev/sdi1	1TB	/mnt/disk5	XFS

分区

系统分区

在每台节点上检查系统分区（目录：/）
系统分区要求 200 GB 以上，并通过独立的磁盘分区挂载
swap分区和根分区隔离，不要使用同一个磁盘分区

数据分区

在每台节点上创建数据文件目录（目录：/mnt/disk<number>）<number> 取值范围：1~99
数据分区建议使用 XFS 文件系统，并通过不同磁盘挂载。
系统分区与数据分区隔离，不要放在同一块磁盘上，以避免 IO 争抢

Docker分区

在每台节点上创建 Docker 文件目录（目录：/var/lib/docker）
分区大小推荐为200GB~300GB
Red Hat Enterprise Linux 或 CentOS 系统使用 XFS 文件系统并对分区格式化处理；其他系统推荐使用 EXT4
最好将 Docker 文件目录单独挂载在一个磁盘分区

日志分区

默认目录：/var/log，推荐使用 XFS 文件系统
最好将日志文件目录单独挂载在一个磁盘分区

分区挂载

以 Docker 分区为例，创建文件目录并永久挂载（Redhat/CentOS）

# 创建 docker 目录
mkdir -p /var/lib/docker

# 磁盘分区格式化为xfs文件系统
mkfs.xfs -f -n ftype=1 /dev/<p_name>

# 磁盘分区挂载
mount /dev/<p_name> /var/lib/docker

# 检查是否格式化成功
xfs_info /dev/<p_name> | grep ftype=1
# 若返回 ftype=1，则说明格式化成功

# 配置 /etc/fstab，永久挂载

# 查看挂载磁盘分区的UUID
blkid /dev/<p_name>

# 添加配置信息至fstab
vi /etc/fstab
例如：UUID=<UUID> /var/lib/docker xfs defaults 0 0

以 Docker 分区为例，创建文件目录并永久挂载（SUSE）

# 创建 docker 目录
mkdir -p /var/lib/docker

# 对磁盘分区进行ext4格式化
mkfs.ext4 /dev/<p_name>

# 将 docker 目录，进行磁盘分区挂载
mount /dev/<p_name> /var/lib/docker

# 配置/etc/fstab

# 查看磁盘分区的UUID
blkid /dev/<p_name>

# 添加配置信息至fstab
UUID=<UUID> /var/lib/docker ext4 defaults 0 0

RAID配置

ArgoDB 默认采用三副本策略保障数据安全，除此以外，您还可以配合 RAID 配置提供更好的安全性或性能，例如：

系统盘采用 RAID 1，提供更高的数据安全性。
数据盘采用 RAID 0，提供更高的性能。

网络配置

推荐使用万兆以太网

请检查并合理分配端口，避免端口冲突，更多介绍，见端口列表。

其他配置

JAVA环境

您无需手动安装 JDK。如果您已经部署了 JDK，那么您需要检查 JDK 版本。如果 JDK 版本低于 1.8，那么您需要先手动卸载，由 Manage 自动安装。

如果您的机器上有不同版本的 JDK，可能会和安装工具安装的 JDK 发生冲突。请在安装前运行下面指令来查看您的 JDK 版本。

java -version

安全配置

您无需手动禁用 SELinux、防火墙，由 Manager 自动完成配置

在系统运行过程中，请勿开启 SELinux、防火墙。

节点访问

您需要使用 hostnamectl set-hostname {hostname} 命令来为各节点设置唯一的主机名，且不能为 localhost，命令示例如下：

hostnamectl set-hostname transwarp11

为简化设置流程，Manager 会在安装过程中自动将 hostname 信息添加集群节点至 /etc/hosts 文件中，帮助建立集群间机器的通信。

安装 Manager

Transwarp Manager（简称 Manager）是负责配置、管理和运维 ArgoDB 集群的图形化工具；还提供了一些便捷的运维功能，例如磁盘管理、软件升级和服务迁移等。

完成 Manager 的安装后，即可通过它可视化部署 ArgoDB 集群。

安装前准备

请联系星环技术支持获取产品安装包，然后将安装包上传至服务器，该服务器将作为 Manager 管理节点，帮助您管理集群，具体安装流程如下：

# 解压缩
tar xvzf TDH-Platform-Transwarp-{version}-X86_64-final.tar.gz

# 进入解压后的 transwarp 目录
cd transwarp-{version}-X86_64-final

# 执行 install 二进制文件
./install

启动成功后入上图所示，随后通过浏览器访问 "ip:8179”，继续安装流程

安装过程中请勿键入 Ctrl+C 终止该脚本。如果安装过程中意外终止，需重新执行 ./install。

添加第一个集群

第一步

登录 Manager，<ip>:8080 （用户名：admin，密码：admin）

如果需要添加多个集群，可以在 Manager 页面中单击【添加集群】。

第二步

阅读协议，单击【接受】

第三步

命名集群，单击【下一步】

第四步：节点访问与 NTP 配置

选择合适的节点访问与 NTP 配置，并单击【下一步】

节点访问
- 选项一：节点间已经可以通过主机名访问
- 选项二：需要 Transwarp管理工具配置 /etc/hosts， Manager 在安装过程中自动为每台节点配置 /etc/hosts 文件，自动将集群节点添加至 /etc/hosts。
NTP配置
- 选项一：Manager 不管理 NTP 配置
  - 若选择【第一项】，则需手动配置 NTP 服务，单击【下一步】
- 选项二：内部 NTP 服务器作为独立 NTP 服务器，其他节点向内部 NTP 服务器同步
  - 若选择【第二项】，Manager 会自动为每台节点配置 NTP 服务，单击【下一步】
- 选项三：所有节点向外部NTP同步
- 选项四：内部 NTP 服务器向外部 NTP 同步，其它节点向内部 NTP 服务器同步
  - 若选择【第三项】或【第四项】
    
    需要单击【添加 NTP 服务器】，添加 NTP 服务器地址，单击【测试连接】并测试通过；
    
    单击【下一步】，Manager 会自动为每台节点配置 NTP 服务。

第五步：编辑机柜

通过创建不同的机柜，可以标识服务器的位置。单击【添加机柜】可以创建新的机柜。单击【下一步】

第六步：编辑仓库配置

若集群内其他节点与管理节点的操作系统版本相同，则直接使用初始配置，无需添加 RPM 库配置。
若集群内其他节点与管理节点的操作系统版本不同，需要添加对应操作系统版本的 RPM 库。
- 单击【添加RPM库配置】，出现配置页面，提供远程RPM库和后台手工配置两种方式。
  1. 使用远程 RPM 库：填写操作系统名称、远程RPM库地址
  2. 后台手工配置

第七步：节点配置

进入节点分配页面，在该页面中依次完成【添加节点】、【分配机柜】、【配置仓库】。

添加节点： 单击【添加节点】，输入主机IP，单击【搜索】并勾选节点，单击【继续】

需要添加 Manager 所在节点；若添加节点后仍提示节点不存在，则需编辑 /etc/resolv.conf 并去掉 search 中的那一行。

支持范围搜索：如“172.18.130.[1-50]”，勾选搜索结果中“用户名、密码相同”的集群节点

提供 SSH 访问权限

选择访问节点使用身份，包括 root、其他用户
选择认证方法，包括密码、秘钥
- 若选择密码认证方式，则填写用户名、密码、端口

若选择秘钥认证方式，则填写用户名、私钥文件、秘钥口令、端口

分配机柜: 选中节点，单击【分配机柜】，配置节点所属机柜。

配置仓库

若其他节点与当前节点操作系统相同，则直接使用初始配置
若集群中存在不同版本的操作系统，则选中节点，单击【配置RPM库】选择对应版本的RPM库

删除节点: 选中节点，单击【删除】，可删除选中节点

如果您遇到java.lang.Exception: Active Manager nodes are: List() ，请联系星环技术工程师解决 java.lang.Exception: Active Manager nodes are: List()报错排障

第八步

开始配置集群，等待数分钟；在安装过程中，将完成节点安装、节点访问配置、NTP服务配置等内容

第九步

集群配置成功。单击【下一步】，可以继续安装 ArgoDB 或者其他星环产品。

安装 ArgoDB

部署 ArgoDB 标准版

本文介绍如何安装 ArgoDB 集群，如需要依赖已安装的 TDH 组件，请参考：部署湖仓集平台 TDH+ArgoDB

第一步

单击【应用市场】，进入产品包管理页面

第二步

单击【上传】，上传产品包

请联系星环技术支持获取产品安装包，然后将安装包上传至服务器。

第三步

上传产品包，等待数分钟，单击【下一步】

在正式安装 ArgoDB 之前，需要安装 TOS、License Service、Aquila 等基础服务。ArgoDB 安装包自带元数据库 KunDB，无需另外添加。

第四步：在左侧导航栏选择仪表盘 > 集群，然后单击添加服务。

阅读"最终用户许可协议"后，点击同意开始添加 ArgoDB 服务。

图 1. 最终用户许可协议
选择产品 Transwarp ArgoDB 并选择 6.1 版本，至少添加 Quark、TDDMS、Compact Service 服务，其他服务可按需添加。

图 2. 选择版本
选择产品 Transwarp Basic，继续添加 HDFS、YARN、Zookeeper、KunDB 基础服务（9.3.1 版本），其他服务按需添加，版本关系如下：
- KunDB：2.1.5
- Guardian：3.2.4
- 公共组件（HDFS、YARN、ZooKeeper 等）：9.3.1

第五步：配置安全

可选择是否开启 Kerberos 认证模式，单击【下一步】

如果您选择简单认证模式,可以直接单击下一步

如果您选择 Kerberos 认证模式，输入 Kadmin 票据名、Kadmin 密码

需要先安装 Guardian 服务，才能够使用 Kerberos 认证。您可以参考 Guardian产品手册完成安装。您也可以在 ArgoDB 安装完成后手动配置安全。

第六步

分配角色

操作目的：分配组件角色的安装节点。当服务仅部署一个时，您无需配置依赖关系；当服务部署多个时，您需要配置依赖关系，指定依赖的具体服务。

确定节点规划

管理节点，用于部署数据库管理服务，例如 Quark Server、TDDMS Server、NameNode 等
计算节点和数据节点，用于执行任务和存储数据，例如 Nucleon Executor、TDDMS Tablet Server、DataNode 等

如集群规模较大，建议区分管理节点与计算/数据节点。

N为机器/计算节点/数据节点数量

表 4. 约束与说明
组件	角色	部署的节点数	说明
Quark	Quark Metastore	2	提供元数据管理服务
	Quark Server	1	当同时存在跑批和交互式，可以考虑部署2个 Quark 组件；当部署多个 Quark组件时，推荐 Quark Server 部署在不同节点上。若部署在同一个节点上，需要配置不同的端口，避免端口冲突。
	Nucleon Executor	N	推荐在所有节点部署；如集群规模较大，管理节点可以不部署最好与数据节点共同部署，这样可以减少数据移动 Nucleon Executor服务在接收查询子任务后，会创建 executor 实例执行任务。用户可以自定义实例的数量和实例资源分配。
TDDMS	TDDMS Master	3 或者 5	部署个数为奇数 ArgoDB 为提供系统高可用，在系统设计过程中采用分布式系统算法，如 Raft 协议。因此偶数个节点的容错能力跟比它小的最大的奇数个节点的容错能力是一样的，在这种情况下，部署个数建议为奇数。 TDDMS Master为多活架构，可同时提供服务并提供高可用
	TDDMS Web Server	1	提供 TDDMS 界面化管理服务
	TDDMS tablet Server	N	提供数据存储服务
HDFS	Httpfs	1	提供HDFS界面化管理服务
	Name Service -NameNode	2 及以上	1 台为 Active NameNode，1 台为 StandBy NameNode，提供高可用保障
	Name Service -JournalNode	3 及以上	JournalNode 提供 NameNode 同步
	DataNode	N	提供文件存储服务
KunDB	KunGate	3 或者 5	部署个数为奇数 KunDB并非节点数越多越好。KunDB每个节点都是另一个节点的完整副本，所以节点数越多，数据冗余占用的资源越多，同时复制的成本也会增加，导致系统的运行效率降低。因此推荐为一个KunDB服务配置 3 个或 5 个节点。
Compact Service	Compact Service Server	1	提供小文件合并任务管理
	Compact Service Executor	N	提供小文件合并服务
	Compact Metastore	2	提供小文件合并元数据服务
Zookeeper	Zookeeper Server	3 或者 5 或者 7	部署节点数为奇数 20 个节点以下部署 3 个，20个节点以上配置 5-7 个，不超过 7 个
YARN	Resource Manager	2	负责资源管理
	Node Manager	3	负责容器的管理，并监控资源使用情况
	History Server	1	存储和检索历史作业信息
	Timeline Server	1	存储和检索应用程序的当前和历史信息

表 5. 在三节点集群模式下，我们推荐的角色分配方式如下：
组件	角色	节点1	节点2	节点3
Quark	Quark MetaStore	√	√
	Quark Server	√
	Quark Executor	√	√	√
TDDMS	TDDMS Master	√	√	√
	TDDMS web Server	√
	TDDMS tablet Server	√	√	√
HDFS	httpfs	√
	Name Service-NameNode	√
	Name Service-journalNode	√	√	√
	Data Node	√	√	√
KunDB	KunGate	√	√	√
Compact Service	Compact Service Server	√
	Compact Service Executor	√	√	√
	Compact Metastore	√	√
Zookeeper	Zookeeper Server	√	√	√
YARN	Resource Manager	√	√
	Node Manager	√	√	√
	History Server	√
	Timeline Server	√

如果查询仅需工作在 Local 和 LocalFast 模式下，为更好地支持高并发点查场景和简化配置流程，您可以选择安装 Local Quark 组件，该组件不包含 Executor 角色；部署完成后，组件内的 Gateway 角色会自动完成 Quark Server 的高可用配置。

第七步：配置服务

定义服务的名称和参数后，单击【下一步】

您可以根据资源与业务的实际情况，配置不同的参数。

第八步：服务总览

确认角色及参数，并单击【下一步】

第九步

安装ArgoDB，等待数分钟

第十步

检查集群状态，组件状态均为绿色健康。ArgoDB 安装完成。

为保障更好的产品使用体验，完成部署后，请为所使用的服务安装最新的补丁（Patch）。

在重装服务时，需要确保服务残留数据彻底清除，否则可能导致重装失败。

例 22. HFDS 安装失败

确定该集群上是否安装过 HDFS。如果安装过 HDFS，且需要保留其中的数据，请不要继续下面的步骤，而应进行备份或升级操作。如果该集群上的没有需要保留数据的 HDFS，可继续下面的步骤，清空 HDFS 中的残存数据。

在所有 Journal Node 上，清空（清空指删除目录中的所有内容，但保留目录，下同）/hadoop/journal 中的所有内容，然后执行：

service hadoop-hdfs-journalnode-hdfs1 restart 在所有Name Node上，清空dfs.namenode.name.dir配置的相应目录的所有内容，dfs.namenode.name.dir参数值在/etc/<hdfs-service-name>/conf/hdfs-site.xml文件中（<hdfs-service-name>为集群上之前安装的 HDFS 服务的服务名，下同。）

在所有Data Node上，清空 dfs.datanode.data.dir 配置的相应目录的所有内容，dfs.datanode.data.dir 参数值在 /etc/<hdfs-service-name>/conf/hdfs-site.xml 文件中。

部署 ArgoDB 实时数仓版

Transwarp Slipstream 是星环科技自主研发的企业级、高性能实时流计算引擎，支撑百万级高吞吐、毫秒级低延时业务需求。Slipstream 支持事件驱动和微批处理两种模式，支持 exactly-once 语义、复杂事件处理(CEP)、规则引擎等功能，支持SQL编程与开发。Slipstream 帮助用户快速开发实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。

更多详情您可以参考 Slipstream 产品介绍。

Transwarp Event Store 是星环科技推出的一款高吞吐分布式 NoSQL 数据库，提供消息和事件的存储与处理服务。Event Store 支持数据持久化；支持数据从指定时间点重放，保证数据顺序性；具备弹性扩展和容错能力。Event Store 帮助用户快速开发日志收集、应用监控、流式数据处理、在线分析等应用。

更多详情您可以参考 Event Store 产品介绍。

操作目的：安装ArgoDB+Kafka+Slipstream，数据实时入库即可分析。在正式安装之前，需要安装 TOS、License Service、Aquila 等基础服务。

第一步

单击【应用市场】，进入产品包管理页面

第二步

单击【上传】，上传产品包

请联系星环技术支持获取产品安装包，然后将安装包上传至服务器。

第三步

上传产品包，等待数分钟，单击【下一步】

在正式安装 ArgoDB 之前，需要安装 TOS、License Service、Aquila 等基础服务。ArgoDB 安装包自带Kafka、Slipstream、元数据库 KunDB，无需另外添加。

第四步：在左侧导航栏选择仪表盘 > 集群，然后单击添加服务。

选择产品 Transwarp ArgoDB 并选择 6.1 版本，至少添加 Quark、TDDMS、Compact Service、Kafka、Slipstream 服务，其他服务按需添加。
选择产品 Transwarp Basic，继续添加 HDFS、YARN、Zookeeper、KunDB 基础服务（9.3.1 版本），其他服务按需添加，版本关系如下：
- KunDB：2.1.5
- Guardian：3.2.4
- 公共组件（HDFS、YARN、ZooKeeper 等）：9.3.1

第五步：配置安全

可选择是否开启Kerberos认证模式，单击【下一步】

如果您选择简单认证模式,可以直接单击下一步

如果您选择 Kerberos 认证模式，输入 Kadmin 票据名、Kadmin 密码

需要先安装 Guardian 服务，才能够使用 Kerberos 认证。您可以参考 Guardian产品手册完成安装。您也可以在 ArgoDB 安装完成后手动配置安全。

第六步

分配角色

操作目的：分配组件角色的安装节点。当服务仅部署一个时，您无需配置依赖关系；当服务部署多个时，您需要配置依赖关系，指定依赖的具体服务。

确定节点规划

管理节点，用于部署数据库管理服务，例如 Quark Server、TDDMS Server、NameNode、Slipstream Server 等
计算节点和数据节点，用于执行任务和存储数据，例如 Nucleon Executor、TDDMS Tablet Server、DataNode、Slipstream Executor 等

如集群规模较大，建议区分管理节点与计算/数据节点。

N为机器/计算节点/数据节点数量

表 6. 约束与说明
组件	角色	部署的节点数	说明
Kafka or EventStore	Server	N	提供消息和事件的存储和处理服务
Kafka or EventStore	Rest	按需	提供了REST 接口访问方式
Slipstream	Slipstream Metastore	2	提供元数据管理服务
	Slipstream Server	1	提供Slipstream管理服务
	Slipstream Executor	N	提供实时数据处理服务
Quark	Quark Metastore	2	提供元数据管理服务
	Quark Server	1	当同时存在跑批和交互式，可以考虑部署 2 个 Quark组件；当部署多个 Quark组件时，推荐 Quark Server 部署在不同节点上。若部署在同一个节点上，需要配置不同的端口，避免端口冲突。
	Nucleon Executor	N	推荐在所有节点部署；如集群规模较大，管理节点可以不部署最好与数据节点共同部署，这样可以减少数据移动 Nucleon Executor 服务在接收查询子任务后，会创建 executor 实例执行任务。用户可以自定义实例的数量和实例资源分配。
TDDMS	TDDMS Master	3 或者 5	部署个数为奇数 ArgoDB 为提供系统高可用，在系统设计过程中采用分布式系统算法，如Raft协议。因此偶数个节点的容错能力跟比它小的最大的奇数个节点的容错能力是一样的，在这种情况下，部署个数建议为奇数。 TDDMS Master为多活架构，可同时提供服务并提供高可用
	TDDMS Web Server	1	提供 TDDMS 界面化管理服务
	TDDMS tablet Server	N	提供数据存储服务
HDFS	Httpfs	1	提供 HDFS 界面化管理服务
	Name Service -NameNode	2 及以上	1 台为 Active NameNode，1台为StandBy NameNode，提供高可用保障
	Name Service -JournalNode	3 及以上	JournalNode 提供 NameNode 同步
	DataNode	N	提供文件存储服务
KunDB	KunGate	3 或者 5	部署个数为奇数 KunDB 并非节点数越多越好。KunDB 每个节点都是另一个节点的完整副本，所以节点数越多，数据冗余占用的资源越多，同时复制的成本也会增加，导致系统的运行效率降低。因此推荐为一个 KunDB 服务配置 3 个或 5 个节点。
Compact Service	Compact Service Server	1	提供小文件合并任务管理
	Compact Service Executor	N	提供小文件合并服务
	Compact Metastore	2	提供小文件合并元数据服务
Zookeeper	Zookeeper Server	3 或者 5 或者 7	部署节点数为奇数 20 个节点以下部署 3 个，20 个节点以上配置 5-7 个，不超过 7 个
YARN	Resource Manager	2	负责资源管理
	Node Manager	3	负责容器的管理，并监控资源使用情况
	History Server	1	存储和检索历史作业信息
	Timeline Server	1	存储和检索应用程序的当前和历史信息

表 7. 在三节点集群模式下，我们推荐的角色分配方式如下：
组件	角色	节点1	节点2	节点3
Kafka or EventStore	Server	√	√	√
Kafka or EventStore	Rest
Slipstream	Slipstream MetaStore	√	√
	Slipstream Server	√
	Slipstream Executor	√	√	√
Quark	Quark MetaStore	√	√
	Quark Server	√
	Quark Executor	√	√	√
TDDMS	TDDMS Master	√	√	√
	TDDMS web Server	√
	TDDMS tablet Server	√	√	√
HDFS	httpfs	√
	Name Service-NameNode	√
	Name Service-journalNode	√	√	√
	Data Node	√	√	√
KunDB	KunGate	√	√	√
Compact Service	Compact Service Server	√
	Compact Service Executor	√	√	√
	Compact metastore	√	√
Zookeeper	Zookeeper Server	√	√	√
YARN	Resource Manager	√	√
	Node Manager	√	√	√
	History Server	√
	Timeline Server	√

如果查询仅需工作在 Local 和 LocalFast 模式下，为更好地支持高并发点查场景和简化配置流程，您可以选择安装 Local Quark 组件，该组件不包含 Executor 角色；部署完成后，组件内的 Gateway 角色会自动完成 Quark Server 的高可用配置。

第七步：配置服务

定义服务的名称和参数后，单击【下一步】

您可以根据资源与业务的实际情况，配置不同的参数。

第八步：服务总览

确认角色及参数，并单击【下一步】

第九步

安装ArgoDB，等待数分钟

第十步

检查集群状态，组件状态均为绿色健康。ArgoDB+Kafka+Slipstream 安装完成。

为保障更好的产品使用体验，完成部署后，请为所使用的服务安装最新的补丁（Patch）。

在重装服务时，需要确保服务残留数据彻底清除，否则可能导致重装失败。HDFS 安装失败您可以参考 HDFS安装失败

部署湖仓集平台 TDH+ArgoDB

背景介绍

某金融客户基于 TDH 9.0 构建大数据平台；一段时间后，由于传统数据仓库无法满足业务需求，选择 ArgoDB 替代 Oracle、Teradata，基于 ArgoDB+TDH 构建湖仓集一体平台。

多模异构平台架构

通过 ArgoDB 和 TDH 打造融合、统一的多模异构平台，满足湖仓集一体的需求。

安装概述

在 TDH 平台上，部署 ArgoDB。其中，ArgoDB 能够依赖 TDH 已有组件

依赖服务组件：依赖 Zookeeper、DBA Service 等服务组件
依赖存储组件：依赖 TDFS、Hyperbase、Scope 等存储组件

检查依赖版本

操作目的：确保ArgoDB能够依赖低版本的TDH

表 8. 兼容列表
ArgoDB 版本	TDH 最低要求版本
5.x	6.2
3.2.2	6.2

如果 DBA 部署版本低于 ArgoDB 最低依赖版本时，会导致 ArgoDB 无法依赖 DBA Service。如果不升级 DBA Service，则需要修改 ArgoDB的metainfo.yml 配置文件。同样，您也可以修改其他组件的最低依赖版本。

修改对象

需要修改 Quark、Compact Service 的 metainfo 文件。例如

/var/lib/transwarp-manager/master/content/meta/services/QUARK/quark-8.25/metainfo.yaml (1)
/var/lib/transwarp-manager/master/content/meta/services/COMPACT_SERVICE/quark-8.25/metainfo.yaml (2)

1	在 dependencies 中，修改 DBA 组件版本
2	组件的 metainfo 均存放在 services 文件夹下

您可以在 metainfo 文件中 dependencies 修改 minVersion，使得 ArgoDB 能够依赖不同版本。

dependencies 用于配置依赖组件的版本，模板如下：

- name: 依赖组件名称
minVersion: 依赖组件允许的最低版本
optional: true代表非必选依赖

例如当您需要用更低的 DBA Service 版本用于 ArgoDB 监控，则修改 minVersion: dba-8.9.6 为对应版本

重新加载 Manager

systemctl reload transwarp-manager

TDH版本检查

您需要确保在 TDH 上打了最新的 Patch。

安装 ArgoDB

操作目的：在 TDH 集群上，安装 ArgoDB，并在安装时直接依赖 TDH 组件

安装 ArgoDB 时，仅需部署三个组件：

Quark
TDDMS
Compact Service

如果查询仅需工作在 Local 和 LocalFast 模式下，为更好地支持高并发点查场景和简化配置流程，您可以选择安装 Local Quark 组件，该组件不包含 Executor 角色；部署完成后，组件内的 Gateway 角色会自动完成 Quark Server 的高可用配置。

其他组件可以直接依赖 TDH 已有组件，因此无需部署

配置依赖

本节中，仅介绍依赖配置，【角色分配】介绍参考上一章角色分配。

操作目的：配置依赖后，角色之间可以相互访问

您需要在分配角色右侧的依赖关系中配置依赖，使得 ArgoDB 能够直接访问 TDH 大数据平台。

第一步：选择 Quark 服务，并在右侧配置 Quark 的依赖关系

选择依赖 Zookeeper
选择依赖 KunDB（如果 TDH 使用 TxSQL，则需要依赖 TxSQL，ArgoDB 5.2 及以后版本需配置 Quark 服务的 metainfo 文件才能成功依赖 TxSQL 服务）
选择依赖 TDDMS
选择依赖 DBA Service
选择依赖 HDFS
如果您使用 低版本 TDH ，例如 TDH 组件名称为 Inceptor 时，则选择依赖 Inceptor（TDH 622）
如果您使用 高版本 TDH ，例如 TDH 组件名称为 Quark 时，则选择共享元数据
如果需要访问 Hyperbase，则选择依赖 Hyperbase，您可以通过 ArgoDB 创建 Hyperbase 表等 CRUD 操作
如果需要访问 Search，则选择依赖 Search 依赖。您可以通过ArgoDB进行创建 Search 表等 CRUD 操作

第二步：选择 Compact Serivce 服务，并在右侧配置 Compact Serivce的依赖关系

选择依赖 Zookeeper
选择依赖 HDFS
选择选择依赖KunDB（如果 TDH 使用 TxSQL，则需要依赖 TxSQL
选择依赖 TDDMS
选择依赖 DBA Service

参考安装ArgoDB，依次执行安装步骤，完成安装

安装后配置

在 ArgoDB 和 TDH 所有需要共享的 Quark 服务中同时配置以下参数，使 ArgoDB 和 TDH 的 Quark Metastore 能够互相共享兼容元信息：

datanucleus.schema.autoCreateSchema=true
datanucleus.schema.autoCreateTables=true
hive.metastore.schema.verification=false
datanucleus.autoStartMechanismMode=ignored

在 ArgoDB 和 TDH 所有需要共享的 Quark 服务中，除了使用 PLSQL 最多的 Quark，其余所有 Quark 服务中都需要添加如下配置：
```
plsql.compatible.mode = true
```
- 本参数在 Quark 服务的整个生命周期中只能配置一次。
- 当默认为 false 时：会直接反序列化元信息中的 PLSQL 并进行执行。若 PLSQL 的时间较早或反序列化失败，则会用 PLSQL 对象的文本重新编译，并且存入元信息，然后再执行。
- 当设置为 true 时：将不会从元信息反序列化 PLSQL 对象，而是每次执行都重新编译 PLSQL 对象的文本，且不会将编译结果序列化到元信息中。

为保障更好的产品使用体验，完成部署后，请为所使用的服务安装最新的补丁（Patch）。

体验湖仓集一体平台

基于 TDH+ArgoDB 部署湖仓集平台，用户在使用 ArgoDB、TDH 的时候可以像使用同一款产品一样方便。

创建 TORC 表

-- 创建表
CREATE TABLE torc_table(
    id int,
    name STRING
)
clustered by (id) into 3 buckets
STORED AS ORC
tblproperties("transactional"="true");

-- 插入一条数据
insert into torc_table values(1,"zhangsan");

-- 查询数据
select * from torc_table;

创建Hyperdrive表（需依赖Hyperbase）

-- 创建表
CREATE TABLE bank_info(
    acc_num STRING,
    name STRING,
    password STRING,
    email STRING,
    cellphone STRING,
    balance DOUBLE
)STORED AS HYPERDRIVE;

-- 插入一条数据
insert into table bank_info values("0001", "Zhang San", "5678", "zs@mail.com", "12345678912", "10000.0");

-- 查询数据
select * from bank_info;

创建 Esdrive 表（需依赖 Search）

-- 创建表
CREATE TABLE esdrive_start(
  key1 STRING,
  content STRING,
  tint INT,
  tbool BOOLEAN
)STORED AS ES
with shard number 10
replication 1;

-- 插入一条数据
INSERT INTO TABLE esdrive_start(key1, content, tint, tbool) VALUES ('1', 'esdrive is a good sql engine', 1 , true);

-- 查询数据
select * from esdrive_start;