仅从 perl 中的列表中获取某些值

Question

首先我将描述我所拥有的，然后是问题。

我有一个这样结构的文本文件

----------- Start of file-----
<!-->
name,name2,ignore,name4,jojobjim,name3,name6,name9,pop
-->
<csv counter="1">
1,2,3,1,6,8,2,8,2,
2,6,5,1,5,8,7,7,9,
1,4,3,1,2,8,9,3,4,
4,1,6,1,5,6,5,2,9
</csv>
-------- END OF FILE-----------

我还有一个带有映射的 perl 程序：

 my %column_mapping = (
"name" => 'name',
"name1" => 'name_1',
"name2" => 'name_2',
"name3" => 'name_3',
"name4" => 'name_4',
"name5" => 'name_5',
"name6" => 'name_6',
"name7" => 'name_7',
"name9" => 'name_9',
)

我的动态插入语句（假设我正确连接到数据库，并且标题是我的标题名称数组，例如 test1、test2 等）

my $sql = sprintf 'INSERT INTO tablename ( %s ) VALUES ( %s )',
    join( ',', map { $column_mapping{$_} } @headers ),
    join( ',', ('?') x scalar @headers ); 

my $sth = $dbh->prepare($sql);

现在我实际遇到的问题是： 我需要一种方法来只对标题和地图中的值进行插入。 在作为示例给出的数据文件中，有几个名称不在地图中，有没有办法可以忽略它们以及在 csv 部分中与它们关联的数字？

基本上是做一个子集csv，把它变成：

name,name2,name4,name3,name6,name9,
 1,2,1,8,2,8,
 2,6,1,8,7,7,
 1,4,1,8,9,3,
 4,1,1,6,5,2,

这样我的插入语句只会在地图中插入那些。数据文件总是不同的，而且顺序也不一样，地图中会出现未知的数量。

这是执行此操作的理想方法，因为此脚本将遍历数千个文件，并且每个文件都位于 csv 的数百万行和数百列之后。

它只是一个正在读取的文本文件，而不是 csv，不确定 csv 库是否可以在这种情况下工作。

Answer 1

您通常会将一组有效索引放在一个列表中，然后使用array slices。

@valid = grep { defined($column_mapping{ $headers[$_] }) } 0 .. $#headers;

...

my $sql = sprintf 'INSERT INTO tablename ( %s ) VALUES ( %s )',
  join( ',', map { $column_mapping{$_} } @headers[@valid] ),
  join( ',', ('?') x scalar @valid);
my $sth = $dbh->prepare($sql);

...

my @row = split /,/, <INPUT>; 
$sth->execute( @row[@valid] );

...

Answer 2

因为这是四个不同的问题，所以我将对广泛的问题采取更高层次的方法，并将编程细节留给你（或者你可以就细节提出新的问题）。

我会尽快更改数据格式。将 CSV 列混合到 XML 文件中既奇怪又低效，我相信您知道。对批量数据使用 CSV 文件。对复杂的元数据使用 XML 文件。

标题是 XML 注释更糟糕，现在您正在解析 cmets； cmets 应该被忽略。如果您必须保留混合 XML/CSV 格式，请将标头放入适当的 XML 标记中。否则使用 XML 有什么意义？

由于您要解析一个大文件，因此请使用 XML SAX 解析器。与在执行任何操作之前必须解析整个文档的更传统的 DOM 解析器不同，SAX 解析器将在读取文件时对其进行处理。这将节省大量内存。我将 SAX 处理留作练习，从 XML::SAX::Intro 开始。

在 SAX 解析器中，从 <csv> 中提取数据并在其上使用 CSV 解析器。 Text::CSV_XS 是个不错的选择。它效率高，解决了解析 CSV 数据时可能遇到的所有问题。

当您最终将其归结为 Text::CSV_XS 对象时，在循环中调用 getline_hr 以获取行作为哈希值，应用您的映射，然后插入到您的数据库中。 @mob's solution is fine，但我会使用 SQL::Abstract 来生成 SQL，而不是手动生成。这将防止 SQL 注入攻击以及更普通的事情，例如包含 SQL 元字符和保留字的标头。

将解析数据的处理与数据的解析分开是很重要的。我很确定可怕的数据格式会改变，无论是变坏还是变好，你不想将代码与它绑定。