C# Parallel ForEach 保持值

Question

我正在开发一个在 Google 搜索结果的 URL 中搜索电子邮件地址的应用。问题是它需要将它在每个页面中找到的值 + 找到电子邮件的 URL 返回到具有 2 列的 datagridview：电子邮件和 URL。 我为此使用 Parallel.ForEach，但它当然会返回随机 URL，而不是它真正找到电子邮件的 URL。

public static string htmlcon;  //htmlsource

public static List<string> emailList = new List<string>();

public static string Get(string url, bool proxy)
    {
        htmlcon = "";

        try
        {
            HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
            if (proxy)
                req.Proxy = new WebProxy(proxyIP + ":" + proxyPort);
            req.Method = "GET";
            req.UserAgent = Settings1.Default.UserAgent;
            if (Settings1.Default.EnableCookies == true)
            {
                CookieContainer cont = new CookieContainer();
                req.CookieContainer = cont;
            }
            WebResponse resp = req.GetResponse();
            StreamReader SR = new StreamReader(resp.GetResponseStream());
            htmlcon = SR.ReadToEnd();

            Thread.Sleep(400);
            resp.Close();
            SR.Close();
        }
        catch (Exception)
        {
            Thread.Sleep(500);
        }

        return htmlcon;

    }



  private void copyMails(string url)
    {    
        string emailPat = @"(\b[a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,4}\b)";
        MatchCollection mailcol = Regex.Matches(htmlcon, emailPat, RegexOptions.Singleline);
        foreach (Match mailMatch in mailcol)
        {
            email = mailMatch.Groups[1].Value;
            if (!emailList.Contains(email))
            {
                emailList.Add(email);



                  Action dgeins = () => mailDataGrid.Rows.Insert(0, email, url);
                  mailDataGrid.BeginInvoke(dgeins);

             }
        }
     }

  private void SEbgWorker_DoWork(object sender, DoWorkEventArgs e)
 {
     //ALOT OF IRRELEVAMT STUFF BEING RUN

     Parallel.ForEach(allSElist.OfType<string>(), (s) =>
        {
            //Get URL
            Get(s, Settings1.Default.Proxyset);


            //match mails 1st page 
            copyMails(s);
            });

 }

就是这样：我执行一个 Get 请求（其中“s”是列表中的 URL），然后从 URL 的 html 源执行 copyMails(s)。它使用正则表达式来复制电子邮件。 如果我在没有并行的情况下执行此操作，它会为 datagridview 中的每封电子邮件返回正确的 URL。我怎样才能做到这一点并在 datagridview 中仍然得到正确的匹配？

谢谢

Answer 1

你最好使用 PLINQ 的Where 来过滤（伪代码）：

var results = from i in input.AsParallel()
              let u = get the URL from i
              let d = get the data from u
              let v = try get the value from d
              where v is found
              select new {
                Url = u,
                Value = v
              };

AsParallel 下面表示使用了 TPL 的 LINQ operators 实现（Select、Where、...）。

---

更新：现在提供更多信息

首先您的代码中存在许多问题：

1. 变量htmlcon 是static，但被多个线程直接使用。这很可能是您的根本问题。只考虑两个输入值。第一个Get 完成设置htmlcon，在该线程对copyMails 的调用开始第二个线程的Get 完成其HTML GET 并写入htmlcon 之前。使用`电子邮件

2. 列表emailList 也可以在不被多个线程锁定的情况下访问。 .NET（以及任何其他编程平台）中的大多数集合类型不是线程安全的，您需要一次限制对单个线程的访问。

3. 您在每种方法中混合了各种活动。考虑应用单一责任原则。

4. Thread.Sleep 处理异常？！如果您无法处理异常（即解决条件），则什么也不做。在这种情况下，如果动作抛出，那么 Parallel.Foreach 将抛出：直到您定义如何处理 HTML GET 失败。

三个建议：

1. 根据我的经验，简洁的代码（在某种程度上）让事情变得更容易：格式的细节 没关系（一种真正的大括号样式更好，但一致性是关键）。刚刚经过 并清理格式出现了问题 #1 和 #2。

2. 良好的命名。不要缩写超过几行代码使用的任何东西，除非那是 域的重要术语。例如。 s 为并行循环中的action参数真的是一个url 所以就这么称呼吧。这种事情立刻让代码更容易理解。

1234563用于当地规则）。此外，撇号 ("'") 是一个有效字符（已知的人会因网站因错误而拒绝其地址而感到沮丧）。

第二次：相对直接的清理：

public static string Get(string url, bool proxy) {

    HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
    if (proxy) {
        req.Proxy = new WebProxy(proxyIP + ":" + proxyPort);
    }
    req.Method = "GET";
    req.UserAgent = Settings1.Default.UserAgent;
    if (Settings1.Default.EnableCookies == true) {
        CookieContainer cont = new CookieContainer();
        req.CookieContainer = cont;
    }
    using (WebResponse resp = req.GetResponse())
    using (StreamReader SR = new StreamReader(resp.GetResponseStream())) {
        return SR.ReadToEnd();
    }

}

private static Regex emailMatcher = new Regex(@"(\b[a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,4}\b)", RegexOptions.Singleline);

private static string[] ExtractEmails(string htmlContent) {    

    return emailMatcher.Matches(htmlContent).OfType<Match>
                       .Select(m => m.Groups[1].Value)
                       .Distinct()
                       .ToArray();
 }

private void SEbgWorker_DoWork(object sender, DoWorkEventArgs e) {

    Parallel.ForEach(allSElist.OfType<string>(), url => {
        var htmlContent = Get(url, Settings1.Default.Proxyset);
        var emails = ExtractEmails(htmlContent);

        foreach (var email in emails) {
            Action dgeins = () => mailDataGrid.Rows.Insert(0, email, url);
            mailDataGrid.BeginInvoke(dgeins);
        }
}

这里有：

• 利用using 语句自动清理资源。
• 消除了所有可变的共享状态。
• Regex 被明确记录为具有线程安全的实例方法。所以我只需要一个实例。
• 去除噪音：无需将 URL 传递给 ExtractEmails，因为提取不使用 URL。
• Get 现在只执行 HTML 获取，ExtreactEMail 只是提取

第三：以上将阻塞线程在最慢的操作：HTML GET。

真正的并发优势是替换 HttpWebRequest.GetResponse 并使用它们的异步等效项读取响应流。

使用Task 将是.NET 4 中的答案，但您需要直接使用Stream 并对自己进行编码，因为StreamReader 不提供任何BeginABC/EndABC 方法对。但是.NET 4.5 快到了，所以申请一些async/await:

• ExtractEMails 无事可做。
• Get 现在是异步的，既不会阻塞 HTTP GET 也不会读取结果。
• SEbgWorker_DoWork 直接使用任务来避免混合太多不同的方式来使用 TPL。由于Get 返回一个Task<string>，因此可以简单地继续（当它没有失败时——除非您另外指定，否则ContinueWith 只会在前一个任务成功完成时继续）：

这应该可以在 .NET 4.5 中使用，但是如果没有一组有效的 URL，我无法测试。

public static async Task<string> Get(string url, bool proxy) {

    HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
    if (proxy) {
        req.Proxy = new WebProxy(proxyIP + ":" + proxyPort);
    }
    req.Method = "GET";
    req.UserAgent = Settings1.Default.UserAgent;
    if (Settings1.Default.EnableCookies == true) {
        CookieContainer cont = new CookieContainer();
        req.CookieContainer = cont;
    }
    using (WebResponse resp = await req.GetResponseAsync())
    using (StreamReader SR = new StreamReader(resp.GetResponseStream())) {
        return await SR.ReadToEndAsync();
    }

}

private static Regex emailMatcher = new Regex(@"(\b[a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,4}\b)", RegexOptions.Singleline);

private static string[] ExtractEmails(string htmlContent) {    

    return emailMatcher.Matches(htmlContent).OfType<Match>
                       .Select(m => m.Groups[1].Value)
                       .Distinct()
                       .ToArray();
 }

private void SEbgWorker_DoWork(object sender, DoWorkEventArgs e) {

    tasks = allSElist.OfType<string>()
                     .Select(url => {
        return Get(url, Settings1.Default.Proxyset)
                .ContinueWith(htmlContentTask => {
                    // No TaskContinuationOptions, so know always OK here
                    var htmlContent = htmlContentTask.Result;
                    var emails = ExtractEmails(htmlContent);
                    foreach (var email in emails) {
                        // No InvokeAsync on WinForms, so do this the old way.
                        Action dgeins = () => mailDataGrid.Rows.Insert(0, email, url);
                        mailDataGrid.BeginInvoke(dgeins);
                    }
                });
    });

    tasks.WaitAll();
}

Answer 2

公共静态字符串 htmlcon; //html源码

公共静态列表 emailList = new List();

问题是因为这些成员 htmlcon 和 emailList 是线程之间和迭代之间的共享资源。 Parallel.ForEach 中的每个迭代都是并行执行的。这就是为什么你有奇怪的行为。

如何解决问题：

• 修改您的代码并尝试在没有静态变量或共享状态的情况下实现它。

作为一个选项，从 Parallel.ForEach 更改为 TPL 任务链接，当您进行此更改时，一个并行操作的结果将成为另一个并行操作的输入数据，它是许多如何修改代码以避免共享状态的选项之一。

• 使用锁定或并发集合。您的 htmlcon 变量可以设置为 volatile，但使用 list 您应该锁定或并发集合。

更好的方法是修改您的代码以避免共享状态，以及如何做到这一点是基于您的实现的许多选项，而不仅仅是任务链。