【问题标题】:Import Mainframe files in Sqoop - Packed decimal Conversion在 Sqoop 中导入大型机文件 - 压缩十进制转换
【发布时间】:2016-10-26 18:51:30
【问题描述】:

我正在尝试将一些大型机数据集拉入 HDFS。 sqoop 中有一个选项支持大型机连接。我遇到的问题是很少有大型机文件包含压缩十进制(comp-3)和二进制(comp)字段。

我的问题是:

  1. Sqoop 使用大型机插件将 EBCDIC 转换为 ASCII。但是,它是否默认支持压缩十进制字段的转换?

  2. 如果没有,我该如何完成并加载到 HDFS 中?任何可以完成此任务的开源实用程序。建议会有所帮助。

  3. 是否可以通过sqoop命令传递主机文件的元数据(copybook)?

感谢您的帮助!!

谢谢, 维诺特

【问题讨论】:

  • 嗨 Vinoth,你有没有找到问题的答案,我在导入大型机数据时遇到了类似的问题
  • @chhayavishwakarma - 由于我的连接问题,我无法使用大型机插件测试 SQOOP 导入 - 我怀疑它可以转换压缩十进制,因为我读到大型机数据集需要在导入之前进行字符转换。可能你尝试 cobol2j(open source..) 并检查它是否适合你。

标签: hdfs sqoop


【解决方案1】:
  1. 没有
  2. 我还没有测试过,但看起来很有希望http://rbheemana.github.io/Cobol-to-Hive/
  3. 为了做到这一点,字帖必须通过大型机的 ftp 可见

【讨论】:

  • 我已经对其进行了测试,它工作正常,但我面临的唯一问题是通过 FTP 将大文件传输到本地 unix,然后将其移动到 hdfs 以使用上述 jar。什么是直接在 hdfs 上获取文件的有效方法,而不需要将它们 ftp 到本地 unix。有什么建议吗?
猜你喜欢
  • 1970-01-01
  • 2011-01-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2022-03-18
相关资源
最近更新 更多