【问题标题】:Dbeaver Exception: Data Source was invalidDbeaver 异常:数据源无效
【发布时间】:2018-06-07 06:55:05
【问题描述】:

我正在尝试使用 Dbeaver 并通过 Spark Hive 处理数据。由于以下命令有效,连接稳定:

select * from database.table limit 100

但是,一旦我与简单的获取查询不同,我就会遇到异常。例如。运行查询

select count(*) from database.table limit 100

导致异常:

SQL 错误 [2] [08S01]:org.apache.hive.service.cli.HiveSQLException:错误 while 处理语句:FAILED:执行错误,返回码 2 来自 org.apache.hadoop.hive.ql.exec.tez.TezTask。顶点失败, 顶点名称=地图 1,顶点 ID=顶点_1526294345914_23590_12_00, 诊断=[顶点vertex_1526294345914_23590_12_00 [地图1] 由于:ROOT_INPUT_INIT_FAILURE,顶点输入:帖子而被杀死/失败 初始化失败,vertex=vertex_1526294345914_23590_12_00 [Map 1], com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: 错误请求(服务:Amazon S3;状态代码:400;错误代码:400 错误 要求;请求 ID:95BFFF20D13AECDA),S3 扩展请求 ID: fSbzZDf/Xi0b+CL99c5DKi8GYrJ7TQXj5/WWGCiCpGa6JU5SGeoxA4lunoxPCNBJ2MPA3Hxh14M=

有人可以帮我吗?

【问题讨论】:

    标签: hive dbeaver spark-hive


    【解决方案1】:

    400/Bad Request 是 S3/AWS 通用“不喜欢您的有效负载/请求/身份验证”响应。 ASF S3A docs 中有一些详细信息,但这是针对 ASF 连接器的,而不是针对亚马逊的(来自堆栈跟踪的)。 v4 身份验证存储桶的错误端点通常是问题 #1,之后......谁知道?

    1. 先尝试做一些基本的hadoop fs -ls s3://bucket/path 操作。
    2. 您可以尝试对它运行cloudstore diagnostics;这是我第一次调用调试客户端。虽然它没有明确地知道 EMR-s3-connector,所以它不会详细查看凭据

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-11-15
      • 2011-11-07
      • 2020-01-31
      • 2013-11-13
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多