【发布时间】:2019-10-04 10:50:03
【问题描述】:
我创建了一个 java 应用程序,它将文件从 FTP 位置传输到 HDFS。这是通过首先将文件复制到边缘节点中的临时文件夹然后将其移动到 HDFS(cloudera 集群)来完成的。 目前我正在对文件进行字节检查 - 我正在比较 FTP 文件和复制的 HDFS 文件的总文件大小(以字节为单位)。我想实现校验和。我已经用谷歌搜索,但我无法得到任何答案。 如果您有任何想法,请告诉我。 (FTP 服务器是我们启用 FTP 的 Windows 机器)
【问题讨论】:
-
标准java CRC32
-
@MartinPrikryl,感谢您提供答案链接。实际上,我需要获取传输到 HDFS(hadoop 文件系统)的文件的校验和,并将其与 FTP 校验和进行比较以验证传输是否正确!
-
@user3600673 我明白了。这就是为什么我发布了上面的链接。它表明,您将无法计算 FTP 服务器上文件的校验和。