若初次安装版本高于 3.0,则直接跳过该节 |
第一步主要包括:
ArgoDB 1.X系列检查是否依赖Ladder
角色 | 参数 |
---|---|
ArgoDB Computing |
hive.exec.ladderscratchdir |
hive.exec.scratchdir |
|
hive.metastore.warehouse.dir |
|
fs.defaultFS |
|
ArgoDB Storage |
hive.exec.ladderscratchdir |
hive.exec.scratchdir |
|
hive.metastore.warehouse.dir |
|
fs.defaultFS |
路径若为 Ladder 路径,则需要修改 例如:fs.defaultFS = ladder://transwarp11.localdomain:19998
hive.exec.ladderscratchdir = hdfs://nameservice1/<ArgoDBComputing_Name>/tmp/hive hive.exec.scratchdir = hdfs://nameservice1/<ArgoDBComputing_Name>/tmp/hive hive.metastore.warehouse.dir = hdfs://nameservice1/<ArgoDBComputing_Name>/user/hive/warehouse fs.defaultFS = hdfs://nameservice1
复制
hive.exec.ladderscratchdir = hdfs://nameservice1/<ArgoDBStorage_Name>/tmp/hive hive.exec.scratchdir = hdfs://nameservice1/<ArgoDBStorage_Name>/tmp/hive hive.metastore.warehouse.dir = hdfs://nameservice1/<ArgoDBStorage_Name>/user/hive/warehouse fs.defaultFS = hdfs://nameservice1
复制
1.X系列,需要手动创建HDFS目录。2.X系列会自动创建 |
以“hdfs://nameservice1/argodbcomputing1/tmp/hive”为例 1.在集群任意节点找到Nameservice的Namenode pod kubectl get pods | grep hdfs 2.进入其中一个NameNode Pod Kubectl exec -ti <HDFS_Name_Pod_Name> bash 3.切换用户 su hdfs 4.查看路径是否存在 hdfs dfs -ls <dir_path> 5.若不存在,则创建目录 hdfs dfs -mkdir -p <dir_path> 6.设置目录权限 hdfs dfs -chmod 777 <dir_path>
复制
ArgoDB 2.X系列检查是否依赖Ladder
-
完成1.X中的参数检查与修改
-
设置ArgoDB Computing 参数 hive.exec.ladderscratchdir.enabled = false
-
配置Compact Service:和ArgoDB Computing一样,修改5个参数;其中<ArgoDBComputing_Name>改为<CompactService_Name>
移除依赖后,修改数据库路由
如果ArgoDB依赖过Ladder,会导致database、table的位置信息指向Ladder;这时需要手动修改路由地址。 |
1.连接数据库 mysql -h <txsql_host> -P <txsql_port> -u inceptoruser --password=password (1) 2.进入metastore_argodbstorage1,查看database的路由路径 SELECT DB_ID, NAME, DB_LOCATION_URI FROM DBS;(2) 3.修改database的路由路径 示例:手动修改discover的DB_LOCATION_URI update DBS SET DB_LOCATION_URI='hdfs://nameservice1/argodbstorage1/user/hive/warehouse/discover.db' where DB_ID=1; 4.查看table的路由地址 select table_name,database_name,table_format, table_location from tables_v;(3) 5.修改table的路由地址 示例:批量修改数据表路由地址 update tables_v set table_location=replace(table_location, 'ladder://transwarp11.localdomain:argodbstorage1:19998/', 'hdfs://nameservice1/') 6.再次查看数据库和数据表路由地址,确认修改成功
复制
1 | <txsql_host>:txsql所在节点IP; <txsql_port>:端口,默认为3316 |
2 | 若看到DB_LOCATION_URI指向Ladder,需要修改为HDFS。 |
3 | 若看到table指向Ladder,需要修改为HDFS 注意:Holodesk表修改路由地址后,可正常使用;其他数据需要重新导出导入。 |