AWS Redshift 查询过长异常

Question

一直在尝试在 AWS Redshift（类型：RA3.4xLarge）中运行合并查询，其中查询的长度约为 6k 个字符（我知道，非常大！！）。

现在此查询失败并出现以下错误。

psycopg2.errors.InternalError_: Value too long for character type
DETAIL:  
  -----------------------------------------------
  error:  Value too long for character type
  code:      8001
  context:   Value too long for type character varying(1)
  query:     388111
  location:  string.cpp:175
  process:   query0_251_388111 [pid=13360]
  -----------------------------------------------

进一步挖掘，发现stl_query 表记录了集群上运行的每个查询，这对querytxt 列有4k 个字符的限制，导致上述整个查询失败。

                     View "pg_catalog.stl_query"
           Column           |            Type             | Modifiers
----------------------------+-----------------------------+-----------
 userid                     | integer                     |
 query                      | integer                     |
 label                      | character(320)              |
 xid                        | bigint                      |
 pid                        | integer                     |
 database                   | character(32)               |
 querytxt                   | character(4000)             |
 starttime                  | timestamp without time zone |
 endtime                    | timestamp without time zone |
 aborted                    | integer                     |
 insert_pristine            | integer                     |
 concurrency_scaling_status | integer                     |

所以，这里的问题是（除了减少查询长度），有没有解决这种情况的方法？还是我把这整件事都推错了？

Answer 1

您的分析偏离了轨道 - 我处理过许多大小超过 4K 的 Redshift 查询（很遗憾）。除非他们在最近的版本中破坏了某些东西，否则这不是您的问题。

首先，stl_query 只存储查询的前 4K 个字符 - 如果您想查看整个长查询，您需要查看表 stl_querytext。请注意，stl_querytext 将查询分成 200 个字符块，您需要使用序列值重新组合它们。

现在您的错误指向一个 varchar(1)，一个字节大小的 varchar，作为问题的根源。我会查看您的查询和表以查找 varchar(1) 大小的列，并查看其中放入了什么。您可能需要了解插入的字符串长度以及为什么要找到解决方案。

请记住，在 Redshift 中，非 ascii 字符存储在多个字节中，并且 varchar(1) 是一个字节列。因此，如果您尝试在此列中插入单个非 ascii 字符，它将不适合。如果问题与非 ascii 字符有关，则可以使用两个函数：

• length() - 在 CHARACTERS 中查找字符串的长度
• octet_length() - 以 BYTES 计算字符串的长度

如果您仍然无法找到问题，您可能需要发布您正在使用的 DDL 和 SQL，以便获得更具体的建议。