使用正则表达式的大字符串的灾难性回溯问题

Question

我正在尝试捕获两个字符串之间的所有内容，问题是我要捕获的这个字符串可以长达 3000 行数字和逗号。因此，当这种情况发生时，我会收到灾难性回溯的错误。

这是我正在使用的正则表达式，也是下面的示例数据

NEM12[\s\S]+?<\/CSVIntervalData>

<.csvintervaldata>100,NEM12,201807290900,WBAYM,EEQ 200,3030910307,B1E1K1Q1,03,B1,N1,91111580,kWh,30, 300,20180728,.278,.278,.278,.278,.278,.278,.278,.278,.278,.278,.278,.278,.278,.056,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,.074,.278,.278,.278,.278 ,.278,.278,.278,.278,.278,.278,.278,.278,.278,E75,,,20180729000320, 900 <.>

注意中间可以有一千行数字、点和逗号

Answer 1

Your regex 基于惰性匹配模式，如果您需要匹配的字符串很长，这意味着正则表达式引擎的大量开销。当NEM12 匹配时，尝试</CSVIntervalData>，一旦引擎找不到它，它会扩展[\s\S]*? 模式，匹配任何字符，并再次重新测试</CSVIntervalData> 模式，依此类推。一旦它多次执行，您可能会遇到问题（在 regex101，您通常会看到超时问题，而不是灾难性回溯，因为这里没有 lazy 模式的回溯，回溯仅由贪婪模式触发）。

你可以做的是解开惰性模式：

NEM12[^<]*(?:<(?!/CSVIntervalData>)[^<]*)*</CSVIntervalData>

请参阅regex demo（注意 317 步与 46 步的区别）。

[\s\S]*? 被替换为 [^<]*(?:<(?!/CSVIntervalData>)[^<]*)*：除 < 之外的 0+ 个字符，然后是 < 的任何 0+ 序列，而不是 /CSVIntervalData>，然后是除 < 之外的任何 0+ 字符。虽然它更长，但它匹配块中的文本，并且在预期匹配很长的情况下更快更可靠。如果您的文本在分隔符之间包含太多连续的< 字符，则速度不会那么快，但实际数据通常不是这种情况。

如果您需要捕获这两个字符串NEM12 和</CSVIntervalData> 之间的内容，请不要忘记捕获组：

NEM12([^<]*(?:<(?!/CSVIntervalData>)[^<]*)*)</CSVIntervalData>
     ^                                     ^    

见this regex demo。