【问题标题】:Check the error in the hive udf written in python检查python写的hive udf中的错误
【发布时间】:2017-10-18 19:43:36
【问题描述】:

我使用 python 编写了一个 hive udf,但是在使用 udf 运行我的查询时。我在日志中收到以下错误-

错误:java.lang.RuntimeException:关闭时 Hive 运行时错误 操作员:[错误 20003]:尝试关闭 运行您的自定义脚本的操作员。

如何检查我的 python 脚本崩溃的错误,因为 map reduce 日志只是向我显示了作业中的错误,如上所示。

【问题讨论】:

  • 您使用哪个客户端进行查询?直线?
  • 是的,我正在使用 beeline 和它的 python udf

标签: python hadoop hive mapreduce hiveql


【解决方案1】:

尝试使用 UDF as 执行您的查询

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -e "query"

并检查在日志文件夹中创建的日志文件。这将是一个详细的日志。在执行命令之前确保日志文件夹存在。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多