【发布时间】：2019-07-14 02:56:12
【问题描述】：
我是 Hadoop 新手。我有一个源 Excel 文件或任何平面文件，我希望将同一个文件从本地文件系统移动到 hdfs。迁移后，我想比较两个文件以检查数据是否已正确迁移（文件比较程序）以获取报告（对帐数据不匹配） EX：想象一下我在 Excel 文件中有一些名字之后。
如果有人帮助我，那就太好了。
谢谢
【问题讨论】：
【发布时间】：2019-07-14 02:56:12
【问题描述】：
我也有类似的用例。 您可以对源和目标进行字节计数，如下所示：
对于本地文件系统：
du -h <source-file-path>
对于hadoop位置：
Hadoop fs -du -h <hadoop-target-path>
如果数据加载正确，那么字节大小将匹配。 希望这可以帮助。
【讨论】：
-
没关系，但如果发生任何不匹配，我想比较数据。例如，在源文件中，我有一些客户数据。在名字列中，我有像 ram 这样的数据，迁移后由于某些错误，到 hdfs，它可能已更改为 sam（ram 到 sam）。我希望在某个文件中报告这种不匹配。
为什么不安装像Hue 这样的hdfs 文件浏览器。使用此工具，您应该能够从 GUI 中查看 hdfs 中的所有文件。
【讨论】：
-
我可以安装，但我正在从事数据迁移项目。所以我想如何以编程方式完成。