Oracle：将 varchar2 字段中的 xml 实体转换为 utf-8 字符

Question

我在一个表中有一个字段，其中包含特殊字符的 XML 实体，因为该表是 latin-1 格式的。 例如。 “Hallöle slovenčina”（“ö”在 latin-1 中，但“slovenčina”中的“č”必须由某些将值存储到数据库中的应用程序转换为实体）

现在我需要通过将 XML 实体转换为其原始字符，将表格导出为 utf-8 编码文件。

Oracle 中是否有一个函数可以为我处理这个问题，还是我真的需要为此创建一个巨大的键/值映射？

非常感谢任何帮助。

编辑：我找到了函数DBMS_XMLGEN.convert，但它只适用于<、> 和&。不在&#NNN; :-(

Answer 1

我认为 dbms_xmlgen 的问题在于技术上只有五个 XML 实体。您的示例有一个数字 HTML 实体，对应于 Unicode：

http://theorem.ca/~mvcorks/cgi-bin/unicode.pl.cgi?start=0100&end=017F

Oracle 有一个函数 UNISTR，这在这里很有帮助：

select unistr('sloven\010dina') from dual;

在上面的示例中，我已将 269 转换为等效的十六进制 010d（在 Unicode 中为 U+010D）。但是，您可以传递一个十进制数并进行如下转换：

select unistr('sloven\' || replace(to_char(269, 'xxx'), ' ', '0') || 'ina') from dual;

编辑：PL/SQL 解决方案：

这是我为你准备的一个例子。这应该循环并替换您从表中选择的每一行的任何匹配项。

create table html_entities (
    id NUMBER(3),
    text_row VARCHAR2(100)
);

INSERT INTO html_entities 
VALUES (1, 'Hallöle slovenčina Ċ ú');

INSERT INTO html_entities 
VALUES (2, 'I like the letter Ċ');

INSERT INTO html_entities 
VALUES (3, 'Nothing to change here.');

DECLARE
    v_replace_str NVARCHAR2(1000);
    v_fh UTL_FILE.FILE_TYPE;       
BEGIN
    --v_fh := utl_file.fopen_nchar(LOCATION IN VARCHAR2, FILENAME IN VARCHAR2, OPEN_MODE IN VARCHAR2, MAX_LINESIZE IN BINARY_INTEGER);

    FOR v_rec IN (select id, text_row from html_entities) LOOP
        v_replace_str := v_rec.text_row;
        WHILE (REGEXP_INSTR(v_replace_str, '&#[0-9]+;') <> 0) LOOP
            v_replace_str := REGEXP_REPLACE(
                v_replace_str, 
                '&#([0-9]+);',
                unistr('\' || replace(to_char(to_number(regexp_replace(v_replace_str, '.*?&#([0-9]+);.*$', '\1')), 'xxx'), ' ', '0')),
                1,
                1
            );
        END LOOP;

        -- utl_file.put_line_nchar(v_fh, v_replace_str);
        dbms_output.put_line(v_replace_str);

    END LOOP;
    --utl_file.fclose(v_fh);
END;
/

请注意，我已在对 UTL_FILE 函数的调用中存根，以将 NVARCHAR 行（Oracle 的扩展字符集）写入数据库服务器上的文件。 dbms_output 虽然非常适合调试，但似乎不支持扩展字符，但如果您使用 UTL_FILE 写入文件，这应该不是问题。这是 DBMS_OUTPUT：

Hallöle slovencina C ú
I like the letter C
Nothing to change here.

Answer 2

你也可以只使用国际化包：

UTL_I18N.unescape_reference（'文本'）

非常适合将这些 html 实体更改为普通字符（例如将数据库从 iso 8859P1 移动到 UTF-8 后进行清理）

Answer 3

这可能应该在我不知道的 PL/SQL 中完成，但我想看看我能用纯 SQL 做到多远。这只会替换第一次出现的代码，因此您必须以某种方式多次运行它。

select regexp_replace(s, '&#([0-9]+);', u) from
(select s, unistr('\0' || REPLACE(TO_CHAR(TO_NUMBER(c), 'xxxx'), ' ', '')) u from
(select s, regexp_replace(s, '.*&#([0-9]+);.*', '\1') c from
(select 'Hallöle slovenčina' s from dual)))

或可读性较差但更实用：

SELECT 
REGEXP_REPLACE(s, '&#([0-9]+);', unistr('\0' || REPLACE(TO_CHAR(TO_NUMBER(regexp_replace(s, '.*?&#([0-9]+);.*$', '\1', 1, 1)), 'xxxx'), ' ', '')), 1, 1) 
FROM
(SELECT 'Hallöle slovenčina č Ė' s FROM DUAL)

这个（更新的）版本正确地替换了第一个匹配项。您需要应用它，直到所有这些都被替换。