【问题标题】:Migration from HDP non-secure cluster to CDP secure cluster从 HDP 非安全集群迁移到 CDP 安全集群
【发布时间】:2022-09-23 21:55:21
【问题描述】:
我们正在从HPD 不安全集群到CDP 安全集群,当我阅读 Cloudera 文档时,他们提到 \"distcp\" 作为处理迁移的工具,但他们也只提到HDP 安全集群到CDP 安全/非安全集群这不是我的情况。
我有几个问题:
- 我应该先保护现有集群,然后再使用 distcp 吗?
- 或者如果我在没有安全检查的情况下使用 distcp 可以吗?
- 根据您的经验,我该如何处理这种情况?
提前致谢
标签:
migration
hdfs
cloudera
hdp
cloudera-cdp
【解决方案1】:
根据我的经验,您必须使用以下参数从 CDP 安全集群运行 distcp:
ipc.client.fallback-to-simple-auth-allowed=true
完整示例:
hadoop distcp \
-D ipc.client.fallback-to-simple-auth-allowed=true \
hdfs://<hdp_namenode>:8020/<dir> \
hdfs://<cdp_namenode>:8020/<dir>