什么可以更快地替换这个 sed 命令？

Question

我有一个脚本，下面的 sed 命令对输入文件起作用。

 sed -i 's/SESSION_ID/sid/g;s/TIME_HOUR/hh/g;s/TIME_MINUTE/mm/g;s/TIME_SECOND/ss/g;s/TIME_MILLISECOND/mss/g;s/MSISDN/MS/g;s/IMSI/IM/g;s/IMEISV/IV/g;s/name_ALLOCATED_UE_ADDRESS_IPV4/aI4/g;s/IPV6/I6/g;s/OPERATION_TYPE/OT/g;s/LOCATION_AREA_CODE/LC/g;s/CELL_IDENTITY/CI/g;s/RAT_TYPE/RT/g;s/APN/AP/g;s/COUNTRY_CODE/CC/g;s/NETWORK_CODE/NC/g;s/name_SGSN_ADDRESS_IPV4/sI4/g;s/QCI/QC/g;s/SUBSCRIBERGROUP/SG/g;s/MONITORING_KEY/MK/g;s/QUOTA_VOLUME_BIDIRECTIONAL/QV/g;s/MBR_UL/MU/g;s/MBR_DL/MD/g;s/RULE_ID/RD/g;' $FiletosqeezE

现在的问题是......执行所需的时间比预期的要长。能否请您告知什么可以更快地替换此 sed 命令...我们甚至可以在这里借助 perl...谢谢。

Answer 1

使用命令行 perl（将所有替换连接到一个表达式中）：

perl -i -pe '
    BEGIN {
      %hash = qw(SESSION_ID sid TIME_HOUR hh TIME_MINUTE mm TIME_SECOND ss TIME_MILLISECOND mss MSISDN MS IMSI IM IMEISV IV name_ALLOCATED_UE_ADDRESS_IPV4 aI4 IPV6 I6 OPERATION_TYPE OT LOCATION_AREA_CODE LC CELL_IDENTITY CI RAT_TYPE RT APN AP COUNTRY_CODE CC NETWORK_CODE NC name_SGSN_ADDRESS_IPV4 sI4 QCI QC SUBSCRIBERGROUP SG MONITORING_KEY MK QUOTA_VOLUME_BIDIRECTIONAL QV MBR_UL MU MBR_DL MD RULE_ID RD);
      $pat = join "|", sort {length($b) <=> length($a)} keys %hash; 
    }
    s/\b($pat)\b/$hash{$1}/g;
  '  $FiletosqeezE

开关：

• -i：编辑<> 文件（如果提供扩展名，则进行备份）
• -p：为输入文件中的每个“行”创建一个 while(<>){...; print} 循环。
• -e：告诉perl 在命令行上执行代码。

Answer 2

如果您需要能够真正执行每一行上的所有这些替换，那么您不太可能使其更快，至少使用sed 本身。其他工具，例如 awk 和 perl，可能会给您带来改进。

如果您有可能利用您可能拥有的额外信息，有一些方法可以使其变得更好。

例如，如果您只希望每行中每个字符串（如SESSION_ID）出现一个，则可以去掉全局标志g，这意味着它赢了' 不为每个替换处理该行的其余部分。

或者，如果每一行只包含 一个 关键字（例如，没有包含 SESSION_ID 和 TIME_HOUR 的行，您可以使用类似 @ 987654328@ 进行替换，并使用next 以便第一个替换立即移动到下一行，而不是检查所有其他行。

或者，如果您知道所有关键字都在该行的开头，您可以将替代项更改为：

s/SESSION_ID/sid/g

进入：

s/^SESSION_ID/sid/

这可能会加快速度，因为它不必超出前几个字符的范围。

但是，如果没有额外的信息，您可能通过为此特定目的创建一个硬编码程序而不是使用更通用的 sed 和脚本来获得更快的性能。

这样，您可以调整诸如每次读取调用加载多少数据等内容。由于您的sed 字符串是固定的而不是正则表达式，因此我不期望太多有很大的改进，但如果您愿意付出前期努力，它可能值得一试。 p>

---

对于它的价值，sed 命令在我的盒子上不到 12 秒就轻松通过了一个 100M 的源文件，我不认为这太不好。

只要确保，无论您测试什么选项，都正确地测试它们。 衡量，不要猜测！

Answer 3

根据著名的 sed 单行文字： http://sed.sourceforge.net/sed1line.txt

如果你像这样修改你的替换：

sed 's/something/changed/g;s/another/one/g' 

到

sed '/something/ s//changed/g; /another/ s//one/g' 

你得到了改进，我在一个小文件上进行了测试，系统部分减半：

(precise)cronkilla@localhost:/tmp$ time sed 's/dog/cat/g;s/fox/horse/g;s/quick/slow/g;s/the/blah/g' n4.txt > n6.txt

real    0m0.043s
user    0m0.039s
sys 0m0.004s


(precise)cronkilla@localhost:/tmp$ time sed '/dog/ s//cat/g;/fox/ s//horse/g;/quick/ s//slow/g;/the/ s//blah/g' n4.txt > n6.txt
real    0m0.052s
user    0m0.050s
sys 0m0.002s