检查 Oracle DB .shellscript 作业中的大量记录超时

Question

我正在从事一项日常自动化工作，该工作会根据 oracle 数据库检查文本文件中的记录。 我们每天都会收到来自外部团队的文本文件，其中包含大约 100,000 条记录。文本文件将采用 unix 格式，其中有 6 列，由 | 分隔。符号。

例如， HDR 1

home/sample/file|testvalue1|testvalue2|testval3|testval4|testval5

TRL

我需要检查 testval3 和 testval5 中的值是否存在于我的 oracle 数据库中的表中。该表有大约 1000 万条记录。 我目前正在通过 shellscript 处理它。在 shellscript 中，我正在读取文本文件并循环遍历每一行。在循环内部，我从每一行传递值并对 DB 运行查询。如果数据库中不存在记录，我必须将它们输出到 csv 文件。使用以下查询：

select ‘testval3’,’testval5’ from dual 
where not exists (select primarykeycolumn 
from mytable where mycolumn=testval3 and mycolumn2=testval5)

由于输入文件有 100000 个条目，我的循环将运行查询 100000 次，每次它都会检查包含 1000 万条记录的表。这使我的批处理作业运行了好几个小时，我必须终止它。有没有更好的方法来处理这种情况？如果没有更好的方法通过 shellscript 执行此操作，我也可以使用 java。

Answer 1

执行此操作的快速方法是从脚本开头的表中收集所有可用的 testval3 和 testval5 组合，将它们存储在哈希表或类似结构中，以便在阅读每一行时轻松查询内存中的本地数据结构。

它肯定会使用更多内存，但它会运行单个验证查询并多次加速程序。

要运行的查询将是 select distinct mycolumn,mycolumn2 from mytable 或等效的。

见

• How do I (or can I) SELECT DISTINCT on multiple columns? 和

• ORACLE Select Distinct return many columns and where

所以，总而言之，我提出的机制是：

1. 运行查询以从表中选择所有不同的 testval3 和 testval5 对

2. 创建一个哈希表和一个存储在上面的特定 Pair 结构。例如，在 Java 中，您可以使用 A Java collection of value pairs? (tuples?)，然后，如果您的列的类型是字符串，请使用类似

的内容

HashMap<Pair<String,String>, boolean> pairMap

确保实现 hashCode 和 equals 方法，就像它们在其他示例答案中一样，以便您可以正确地将其用作地图上的键（如果使用 Java 或类似方法）

1. 将查询结果存储在哈希表中，将 testval3 和 testval5 对作为表上的键，将 true 作为值（如何迭代结果集留给读者练习）：

pairMap.put(new Pair<String,String>(testval3,testval5),true)

4. 逐行读取文件
5. 对于每行，查找哈希表中是否存在一对 testval3 和 testval5，如果不存在则将该行输出到 CSV。为此，您只需查询地图并检查是否为空 (Key existence check in HashMap)

例如：

 if (pairMap.get(new Pair<String,String>(testval3,testval5)) == null) {
 //output to CSV
 }

最后，正如@Kaushik Nayak 所说，@Vivek 在 cmets 中暗示的另一个选项是使用其数据加载工具将文件加载到 Oracle，然后对不存在的值运行单个查询。

Answer 2

以下是一种简单的解决方案，可确保不存在超时，甚至您无需扫描数百万条记录 10 万次。

一次性设置： 创建临时临时表：

create table a_staging_table(
testvalue1 varchar2(255),
testvalue2 varchar2(255),
testval3 varchar2(255),
testval4 varchar2(255),
testval5 varchar2(255)
);

----循环过程

将您的“CSV/TEXT”数据加载到临时表中：

some_file_name.ctl：此文件包含以下加载数据命令。

load data
INFILE 'home/sample/file.csv'
INTO TABLE a_staging_table
APPEND FIELDS TERMINATED BY '|'
(testvalue1,testvalue2,testval3,testval4,testval5);

现在，运行 SQL 加载器将数据加载到临时表表单中。

sqlldr userid=dbUserName/dbUserPassword control=some_file_name.ctl log=some_file_name.log

您的数据已加载到临时表中。现在加入 staging 表和 your_original_table 以识别不存在的记录。

第一种方式： 使用 SQL*PLUS 后台处理以下 SQL 的输出：

select s.testval3,testval5
        from (select distinct testval3,testval5 
            from a_staging_table) s 
        where not exists
        (select 1
          from your_original_table
           where mycolumn1=s.testval3
             and mycolumn2=s.testval5);

第二种方式：

Begin
for x in (
    select s.testval3,testval5
    from (select distinct testval3,testval5 
        from a_staging_table) s 
    where not exists
    (select 1
      from your_original_table
       where mycolumn1=s.testval3
         and mycolumn2=s.testval5)
    ) loop

    DBMS_OUTPUT.put_line('testval3: '||x.testval3 || '      ------     '||'testval5: '||x.testval5);
    --write all these values into another file saying that these are not matching values, using UTL_FILE.

--Then finally truncate the table "a_staging_table"
--so that this data will not available next time, and next time again process will run with different file
end loop;