如何在读取镶木地板文件时检查损坏的文件？

Question

我在从我的程序定期生成的 hdfs 中读取镶木地板时遇到了一些问题。因此，如果程序由于某种原因出现故障，它可能会产生一些损坏的文件。

现在，我想要将损坏的文件与正常文件区分开来并移至备份目录。但是我找不到一个好的方法。

我遇到过两种损坏的文件：

1.parquet is not a Parquet file (too small length: 4)

在这种情况下，由于它的大小很容易分辨

2.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [56, 52, 53, 51]

在这种情况下，在阅读之前，我不知道要从普通人那里分辨出来。

我已经阅读了这个网站： https://datameer.zendesk.com/hc/en-us/articles/360006392072-Workbook-Fails-path-to-file-Is-Not-a-Parquet-File-Expected-Magic-Number-at-Tail

根据它，“这将低于其他文件。>，但我还找不到它。

有什么好的解决办法吗？谢谢。

Answer 1

我找到了检查损坏文件的方法。我将函数 readFooter() 从 ParquetFileReader.java 复制到我的项目中，并使用迭代器来获取所有 parquet 文件并将 readFooter() 应用于它们。最后将这些损坏的保存到一个数组中并将其移动到另一个目录。

Answer 2

这两个错误都表明 parquet 文件在写入期间未正确关闭。我建议在阅读时不检查是否损坏，而是将写入逻辑修改如下：

1. 在读者看不到的临时目录中创建新的 parquet 文件
2. 写入您要写入的数据并关闭文件
3. 将文件移动到正确的位置，以便读者可以找到它

因此，阅读器只会观察到正确关闭的文件。损坏的文件将保留在临时目录中。