大字符串数据解析导致高 CPU 使用率

Question

我的应用程序需要解析一些大字符串数据。这意味着我大量使用字符串类的 Split、IndexOf 和 SubString 方法。我正在尝试在必须进行任何连接的任何地方使用 StringBuilder 类。但是，当应用程序执行此解析时，应用程序 cpu 使用率会很高（60-70%）。我猜想调用这些字符串 API 是导致 CPU 使用率升高的原因，特别是数据的大小很大（字符串的典型长度为 400K）。有什么想法可以验证是什么导致 cpu 使用率如此之高，以及是否有任何关于如何降低 cpu 使用率的建议？

Answer 1

要检查的一件事是您尽可能多地传递 StringBuilder，而不是创建一个新的，然后不必要地返回它的 ToString()。

如果您将数据处理为较小的字符串，从流中读取，则可以获得更大的收益。当然，这取决于您正在执行哪种操作，但如果可能的话，请从 StreamReader（或类似的，取决于源）中读取小块数据，然后将其写入 StreamWriter。

通常更改仅适用于给定的文本行，这使得以下模式立即有用：

using(StreamReader sr = new StreamReader(sourceInfo))
using(StreamWriter sw = new StreamWriter(destInfo))
  for(string line = sr.ReadLine(); line != null; line = sr.ReadLine())
    sw.WriteLine(ManipulateString(line));

在其他不适用的情况下，仍有办法将要处理的字符串分块。

Answer 2

要了解 CPU 使用率的来源：请参阅 What Are Some Good .NET Profilers?

降低 CPU 使用率：当然，这取决于实际花费的时间。例如，您可能会考虑不使用实际的子字符串，而是使用小对象编码它们在它们来自的大字符串中的位置。 （不能保证这实际上是一种改进。）很有可能，当你分析你的代码时，有一些事情会作为问题跳出来。它们很可能是您从未猜到的东西，一旦您知道它们需要修复，它们可能很容易修复。

Answer 3

如果您的解析器不需要进行回溯，即它总是向前读取字符串并且字符串的源不是您可以使用的文件/网络流StreamReader只需将您的字符串包装在StringReader 中，例如

//Create a StringReader using the String variable data which has your String in it
//A StringReader is just a TextReader implementation for Strings
StringReader reader = new StringReader(data);

//Now do whatever manipulation on the string you want...