联 系 我 们
售前咨询
售后咨询
微信关注:星环科技服务号
更多联系方式 >
8.5.4 从早期版本升级至 3.2.2
更新时间:9/27/2024, 3:16:58 AM

当前 ArgoDB 为早期版本(1.x/2.x/3.x),如需升级至 ArgoDB 3.2.2,您需要执行升级前检查和上传安装包操作,然后通过 Transwarp Manager 执行升级。

升级前检查
例 281. 第一步:检查 Ladder 依赖
若初次安装版本高于 3.0,则直接跳过该节

第一步主要包括:

ArgoDB 1.X系列检查是否依赖Ladder

表 7.3.1:检查参数
角色 参数

ArgoDB Computing

hive.exec.ladderscratchdir

hive.exec.scratchdir

hive.metastore.warehouse.dir

fs.defaultFS

ArgoDB Storage

hive.exec.ladderscratchdir

hive.exec.scratchdir

hive.metastore.warehouse.dir

fs.defaultFS

路径若为 Ladder 路径,则需要修改 例如:fs.defaultFS = ladder://transwarp11.localdomain:19998

修改ArgoDB Computing参数
hive.exec.ladderscratchdir = hdfs://nameservice1/<ArgoDBComputing_Name>/tmp/hive
hive.exec.scratchdir = hdfs://nameservice1/<ArgoDBComputing_Name>/tmp/hive
hive.metastore.warehouse.dir = hdfs://nameservice1/<ArgoDBComputing_Name>/user/hive/warehouse
fs.defaultFS = hdfs://nameservice1
复制
修改ArgoDB Storage参数
hive.exec.ladderscratchdir = hdfs://nameservice1/<ArgoDBStorage_Name>/tmp/hive
hive.exec.scratchdir = hdfs://nameservice1/<ArgoDBStorage_Name>/tmp/hive
hive.metastore.warehouse.dir = hdfs://nameservice1/<ArgoDBStorage_Name>/user/hive/warehouse
fs.defaultFS = hdfs://nameservice1
复制
1.X系列,需要手动创建HDFS目录。2.X系列会自动创建
HDFS目录创建步骤
以“hdfs://nameservice1/argodbcomputing1/tmp/hive”为例

1.在集群任意节点找到Nameservice的Namenode pod
kubectl get pods | grep hdfs

2.进入其中一个NameNode Pod
Kubectl exec -ti <HDFS_Name_Pod_Name> bash

3.切换用户
su hdfs

4.查看路径是否存在
hdfs dfs -ls <dir_path>

5.若不存在,则创建目录
hdfs dfs -mkdir -p <dir_path>

6.设置目录权限
hdfs dfs -chmod 777 <dir_path>
复制

ArgoDB 2.X系列检查是否依赖Ladder

  1. 完成1.X中的参数检查与修改

  2. 设置ArgoDB Computing 参数 hive.exec.ladderscratchdir.enabled = false

  3. 配置Compact Service:和ArgoDB Computing一样,修改5个参数;其中<ArgoDBComputing_Name>改为<CompactService_Name>


移除依赖后,修改数据库路由

如果ArgoDB依赖过Ladder,会导致database、table的位置信息指向Ladder;这时需要手动修改路由地址。
1.连接数据库
mysql -h <txsql_host> -P <txsql_port> -u inceptoruser --password=password (1)

2.进入metastore_argodbstorage1,查看database的路由路径
SELECT DB_ID, NAME, DB_LOCATION_URI FROM DBS;(2)


3.修改database的路由路径
示例:手动修改discover的DB_LOCATION_URI
update DBS SET DB_LOCATION_URI='hdfs://nameservice1/argodbstorage1/user/hive/warehouse/discover.db' where DB_ID=1;

4.查看table的路由地址
select table_name,database_name,table_format, table_location  from tables_v;(3)

5.修改table的路由地址
示例:批量修改数据表路由地址
update tables_v set table_location=replace(table_location, 'ladder://transwarp11.localdomain:argodbstorage1:19998/', 'hdfs://nameservice1/')

6.再次查看数据库和数据表路由地址,确认修改成功
复制
1 <txsql_host>:txsql所在节点IP; <txsql_port>:端口,默认为3316
2 若看到DB_LOCATION_URI指向Ladder,需要修改为HDFS。
3 若看到table指向Ladder,需要修改为HDFS 注意:Holodesk表修改路由地址后,可正常使用;其他数据需要重新导出导入。
例 282. 第二步:检查manager版本
Manager版本可在界面右上角进行查看。若高于7.0则不用操作

若Manager版本低于7.0,则需要修改ARGODB STORAGE的metainfo文件,对一些内容执行注释操作。注释内容如图所示

例如:/var/lib/transwarp-manager/master/content/meta/services/ARGODB_STORAGE/argodb-3.2.0-final/metainfo.yml

check manager
图 7.4.1:修改 metainfo 文件
例 283. 第三步:检查服务版本依赖
ArgoDB服务升级后,可能导致依赖服务版本变化,例如无法继续使用低版本的 DBA Service。为了避免升级后,服务无法依赖。请参考【安装手册-检查依赖版本】

第四步:检查 Compact Service

  • 如果已安装 Compact Service,则检查是否存在 Compact Service WebUI角色。如果存在,请先删除该角色

  • 如果尚未安装 Compact Service,则需要先单独安装 Compact Service。在安装最新版本的Comacpt Service时,无需安装CompactService WebUI角色

webui
图 7.4.2:检查 Compact Service

第五步:检查TDH+ArgoDB配置

若是在“湖仓集平台 TDH+ArgoDB”的集群上进行ArgoDB升级,需要在Manager配置以下参数,确保升级后ArgoDB与TDH依旧可以共享
元数据共享
组件:ArgoDB Storage以及ArgoDB Computing
配置项:javax.jdo.option.ConnectionURL
配置文件:hive-site.xml
值:Inceptor中javax.jdo.option.ConnectionURL的值
该值在界面中无法查看,需要后台查看配置文件。文件路径:/etc/inceptor1/conf/hive-site.xml
复制
txsql连接串
图 7.4.3:查看配置文件
共享元数据参数
图 7.4.4:Manager 中配置参数
也可以在升级完成后,在ArgoDB Storage中选择依赖Metadata;但是需要确保schema版本一致。
共享参数参数配置
组件:Inceptor\ArgoDBComputing\Quark
配置文件:hive-site.xml
datanucleus.schema.autoCreateSchema=true;
datanucleus.schema.autoCreateTables=true;
hive.metastore.schema.verification=false;
datanucleus.autoStartMechanismMode=ignored;
plsql.compatible.mode=true;
复制
TDH版本检查:确保在TDH上打了最新的Patch。
升级步骤

升级过程中,相关服务暂不可用,请提前评估并预留运维时间窗口,避免影响业务运行。

  1. 登录至 Transwarp Manager 平台。

  2. 在左侧导航栏,选择应用市场 > 已安装服务,然后单击页面右侧的升级

    升级1
    图 7.4.5:已安装服务
  3. 选择升级的服务为 ArgoDB ComputingArgoDB StorageCompact Service,依次确认升级版本后,单击下一步

    升级2
    图 7.4.6:升级服务
  4. 选择升级模式,推荐选择滚动升级以降低服务停机时间,单击下一步

    指定升级模式
    图 7.4.7:指定升级模式
  5. 等待集群完成升级前的准备工作(如拉取升级镜像等),该过程不会影响服务的运行。

    升级准备
    图 7.4.8:升级准备
  6. 添加角色,本次操作无扩容节点,因此无需操作,单击下一步

    添加角色
    图 7.4.9:添加角色
  7. 可根据资源与业务需求,调整组件的相关参数配置,无需调整可直接单击下一步

    自定义配置
    图 7.4.10:自定义配置
  8. 确定各步骤无误,开始执行升级。

    升级
    图 7.4.11:升级完成

    如遇 plugin 安装失败,等待 shivatablet 都启动后进入 shiva-web 的 pod 执行 bash /usr/lib/shiva-webserver/plugin/install.sh 手动安装。

  9. 完成升级后,您需要检查集群状态,确保组件状态均为健康(绿色)。

  10. 完成产品的补丁变更操作,确保所有服务使用了最新的补丁。星环技术工程师可通过补丁下载链接获取。