SQL Plus - 如何将大字符串传递给过程 CLOB 的参数

Question

我有一个接收 XML 的程序：

CREATE OR REPLACE PROCEDURE PROCESS_XML(xml IN CLOB) AS
BEGIN
  DBMS_OUTPUT.PUT_LINE('XML processing started');
END;

现在我正在编写一个 bash 脚本，该脚本将从服务器下载一些 XML 文件，对于每个文件，我将使用 SQL Plus 调用上述过程。

#!/bin/bash
file=$(curl -s "http://example.com/someFile.xml");
sqlplus myuser/mypass@myhost:1521/myscheme <<< "EXECUTE PROCESS_XML('$file')";

它适用于小文件，但对于大文件，我收到以下错误：

SQL*Plus: Release 12.1.0.2.0 Production on Thu Jun 8 18:28:19 2017
Copyright (c) 1982, 2016, Oracle.  All rights reserved.

Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP
and Data Mining options
SQL> Input truncated to 7499 characters
SP2-0027: Input is too long (> 2499 characters) - line ignored

我有什么办法可以发送那些大的 XML 吗？

谢谢

Answer 1

您可以尝试遍历输入文件，一次追加 2.4k 块，可能：

variable l_var clob;
exec :l_var := '';

-- loop here 
exec :l_var := :l_var || '$chunk';
---

exec process_xml(:l_var);

除了使用 shell 脚本，您还可以在 Java 中形成 clob，例如，逐行读取 XML，它没有变量大小的限制。

Answer 2

您可以尝试在 bash 中压缩文件数据，然后使用 utl_compress 在 PLSQL 中解压缩吗？

类似：

#!/bin/bash
file=$(curl -s "http://example.com/someFile.xml" | gzip -f);
sqlplus myuser/mypass@myhost:1521/myscheme <<< "EXECUTE PROCESS_XML('$file')";

在plsql中：

CREATE OR REPLACE PROCEDURE PROCESS_XML(xml IN CLOB) AS
   uncomp CLOB;
BEGIN
  UTL_COMPRESS.lz_uncompress(src => xml, dst => uncomp);
  DBMS_OUTPUT.PUT_LINE('XML processing started');
END;

Answer 3

您可以将文件内容拆分为 SQL*Plus 可接受的块，然后在匿名 PL/SQL 块中重新组合它们；这也将允许比字符串文字更长的值。例如：

#!/bin/bash

file=$(curl -s "http://example.com/someFile.xml" | sed -r "s/(.{1,2000})/l_clob := l_clob || '\1';\n/g")

sqlplus -s -l myuser/mypass@myhost:1521/myscheme <<!EOF
set serveroutput on
declare
 l_clob clob := '';
begin
${file}
 PROCESS_XML(l_clob);
end;
/
exit
!EOF

EXECUTE 无论如何都是一个简单匿名块的包装器，因此使用heredoc 而不是herestring 可以让您扩展它以做更多事情。该块声明一个空的 CLOB，然后从文件中附加块 - 每个块都转换为如下所示：

 l_clob := l_clob || '<up to 2000 chars>';

当 SQL*Plus 看到它时，构造的 heredoc 最终结果为：

set serveroutput on
declare
 l_clob clob := '';
begin
 l_clob := l_clob || '<first 2000 chars>';
 l_clob := l_clob || '<next 2000 chars>';
 l_clob := l_clob || '<next 2000 chars>';
 ...
 l_clob := l_clob || '<last 2000 chars>';
 PROCESS_XML(l_clob);
end;
/
exit

稍微修改你的程序，部分是为了验证传入的长度，部分是为了检查XML在这个过程中没有被破坏：

CREATE OR REPLACE PROCEDURE PROCESS_XML(xml IN CLOB) AS
BEGIN
  DBMS_OUTPUT.PUT_LINE('XML processing started; CLOB length: '
    || length(xml));
  DBMS_OUTPUT.PUT_LINE('XML processing started; converted XML length: '
    || length(xmltype(xml).getclobval()));
END;
/

使用该脚本处理大文件会产生输出：

XML processing started; CLOB length: 368104
XML processing started; converted XML length: 368104

PL/SQL procedure successfully completed.

当然，这会减慢速度；大约 360k 的文件在我的系统上花费了大约 13 秒。可能有比sed 更快的机制，但原理仍然适用。

---

macOS 上的 sed 版本（需要 -E 而不是 GNU 的 -r 标志）似乎被限制为 255 次重复模式（通过 RE_DUMP_MAX，设置在 limits.h 中而不是那么远据我所知，可以在运行时修改）。

你可以只使用一个下限：

file=$(curl -s "http://example.com/someFile.xml" | sed -E "s/(.{1,255})/l_clob := l_clob || '\1';\n/g")

这实际上在 Linux 下也快得多，所以无论如何都不是一个坏选择。

---

在 macOS（El Cap，但可能与 Sierra 相同）上进行了进一步实验并尝试在不包含文字 n 或 \n 的输出中使用转义换行符，这会导致 PLS-00103，这似乎更容易放入一个实际的换行符：

file=$(curl -s "http://example.com/someFile.xml" | sed -E "s/(.{1,255})/ l_clob := l_clob || '\1';\
/g")