在大型在线文本文件中查找文本的最快方法

Question

有一个 url 只包含文本。

格式为

firstWord~:::~secondWord

目标是查找secondWord，然后查找Console.WriteLinefirstWord。

如果我不得不猜测，我会说使用WebClient 将文本文件下载到string，然后使用regex 查找它。

问题是这个文件大约 1 GB，我不确定最快的方法是什么。

有什么想法吗？谢谢！

Answer 1

下面是我能想到的最快的方法。这并不是说您不能在这里和那里刮掉一些蜱虫......很高兴看到其他反馈，看看我们是否可以进一步简化这一点。

// WebClient is very bulky with a lot of stuff we don't need.
// By dealing with the request, response and stream ourself we can get the string a bit faster.
WebRequest request = WebRequest.Create("http://www.UrlToDownloadStringFrom.com");
WebResponse response = request.GetResponse();
Stream stream = response.GetResponseStream();
StreamReader streamReader = new StreamReader(stream);

// the result should return "firstWord~:::~secondWord" as expected.
string result = streamReader.ReadToEnd();

// split the string apart whenever the string ~:::~ appears within it.
string[] resultSplit = result.Split(new string[] { "~:::~" }, StringSplitOptions.None);

// resultSplit[0] is firstWord, resultSplit[1] is second word
string secondWord = resultSplit[1];