来自维基百科的解析表

Question

我需要在这个网页上阅读整个表格https://it.wikipedia.org/wiki/Episodi_di_Watchmen

我不关心标题，但我当然需要阅读每一行和每一列。我写了这段代码：

string page = "https://it.wikipedia.org/wiki/Episodi_di_Watchmen";
HtmlDocument doc = new HtmlDocument();
StreamReader reader = new StreamReader(WebRequest.Create(page).GetResponse().GetResponseStream(), Encoding.UTF8);

doc.Load(reader);
List<List<string>> table = doc.DocumentNode.SelectSingleNode("//table[@class='wikitable']")
                        .Descendants("tr").Select(x => x.ChildNodes.Select(c => c.InnerText.Trim())
                        .Where(y => !string.IsNullOrWhiteSpace(y)).ToList()).ToList();

不幸的是，上面的代码在列表行上给出了一个错误。做了一些试验，似乎错误出在 Descendants 方法中。

你能帮帮我吗？

Answer 1

HtmlDocument.Load(TextReader reader) 未能创建DocumentNode：它是null。可能是因为 TextReader 没有 public 可分配的编码字段。这就是你得到例外的原因。 这是工作代码：

class WikiTable
{
    public async Task<IEnumerable<List<string>>> LoadWikiTable(string requestUriString)
    {
        HtmlDocument doc = new HtmlDocument();
        using (StreamReader reader = new StreamReader(WebRequest
                                                        .Create(requestUriString)
                                                        .GetResponse()
                                                        .GetResponseStream(),
                                                      Encoding.UTF8))
        {
            await Task.Run(() => 
                           doc.Load(reader.BaseStream /*, Encoding.UTF8*/));
        }

        return doc.DocumentNode
                  .SelectSingleNode("//table[@class='wikitable']")
                  .Descendants("tr")
                  .Select(x => x.ChildNodes
                              .Select(c => c.InnerText.Trim())
                              .Where(y => !string.IsNullOrWhiteSpace(y))
                              .ToList()
                          );
    }

    public static string Table2String(IEnumerable<List<string>> table)
    {
        string Row2String(List<string> row) => string.Join("\t", row);

        return string.Join("\n", 
                           table.Select(row => Row2String(row)));
    }
}

用法：

var table = new WikiTable().LoadWikiTable2("https://it.wikipedia.org/wiki/Episodi_di_Watchmen");
Console.WriteLine(WikiTable.Table2String(table.Result));

你怎么看？