Hive 无法从 EMR 上的分布式缓存中找到文件

Question

我正在尝试在 Hive 中运行 UDF，它基本上应该使用表中的值作为另一个参数来扫描外部 csv 文件。 我使用的查询：

add jar s3://bucket_name/udf/hiveudf.jar;
add FILE hdfs:///myfile/myfile.csv;
CREATE TEMPORARY FUNCTION MyFunc AS '....udf.myUDF';
SELECT mydate, record_id, value, MyFunc('myfile.csv',value) from my_table;

结果不稳定，在某些情况下完全相同的查询可以正常工作，但在大约 80% 的情况下它会返回异常：

java.io.FileNotFoundException: myfile.csv (No such file or directory)
    at java.io.FileInputStream.open(Native Method)
    at java.io.FileInputStream.<init>(FileInputStream.java:146)
    at java.io.FileInputStream.<init>(FileInputStream.java:101)
    at java.io.FileReader.<init>(FileReader.java:58)

...

文件似乎被添加到分布式缓存中：

hive> list files;
/mnt/tmp/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx_resources/myfile.csv

我尝试了各种 EMR 版本以及各种实例类型，但找不到模式或触发此问题的原因。任何建议将不胜感激。

Answer 1

您可以启用调试以查找更多信息。但总的来说，当 EMR 集群上的调整大小（缩小）导致由于复制不足而导致从集群中删除某些预期的 HDFS 分布式缓存文件块时，我看到了类似的问题。