【问题标题】:Extract text from external URL从外部 URL 中提取文本
【发布时间】:2010-11-26 15:29:49
【问题描述】:

我正在分享一个链接功能,如 facebook。目前我正在解析元标记以获取关键字、描述等,但如何解析这些类型的页面http://en.wikipedia.org/wiki/Wikipedia 此页面没有元描述,但 facebook 仍然获取以下描述: 维基百科( /ˌwɪkɪˈpiːdi.ə/ 或 /ˌwɪkiˈpiːdi.ə/ WIK-i-PEE-dee-ə)是一个免费的、[3]基于网络的、协作的、多语言的百科全书项目,由非营利性维基媒体基金会支持.其 1700 万篇文章(超过 340 万篇英文)由全球各地的志愿者合作撰写

如果页面上没有找到元描述标签,我该如何提取这样的描述。

【问题讨论】:

    标签: c# asp.net parsing


    【解决方案1】:

    看起来他们生成描述的方式与Bing 的方式相同,但可能难以轻松地重新创建:

    Bing 如何生成描述 我的网站?

    您设计网页的方式 内容影响最大 您的网页描述。作为 MSNBot 抓取您的网站,它会分析 索引网页上的内容和 生成要关联的关键字 每个网页。 MSNBot 提取 Web 最相关的页面内容 关键词,构建网络 出现在 搜索结果。网页内容 通常是句子片段 包含关键字或信息 描述标签。网页 标题和 URL 也被提取并 出现在搜索结果中。

    如果您更改 Web 的内容 页面,您的网页描述可能 下次更改 Bing 索引时 更新。影响您的网站 说明,请确保您的网站 页面有效地传递 您在搜索中想要的信息 结果。站长中心推荐 以下策略当你 设计你的内容:

    * Place descriptive content near the top of each Web page.
    * Make sure that each Web page has a clear topic and purpose.
    * Create unique <title> tag content for each page.
    * Add a Web site description <meta> tag to describe the purpose of
    

    您网站上的每个页面。例如:

    > <META NAME="Description"
    > CONTENT="Sample text - describe your
    

    http://www.bing.com/toolbox/support/faqs.aspx

    一种选择是点击 Bing 并尝试从那里获取描述。

    【讨论】:

    【解决方案2】:

    如果您想创建一个程序来为您提供对任意网站的良好描述,您只需要做一个完整的 KI,它甚至可能通过图灵测试。如此简短的回答:你不能。

    如果您愿意花钱请人类智能为您撰写有关网页的摘要,请在 Google 上搜索“Microjobs”。您可以创建一个自动化的职位描述,例如“写一个关于网页 XY 的两句话摘要”,并在其背后投入一些美分。

    当然,您可以尝试查找文本的第一段并从中取出前 N 个句子,但这在 很多 网站上会失败。

    【讨论】:

    【解决方案3】:

    亚马逊也面临着类似的问题,并且有一个相当新颖的solution。显然,它并不完美,但通过将它与 Bing 使用的想法结合起来,我敢打赌,您可以自动生成一些非常可靠且有趣的关键字标签,以配合本质上更可疑的描述。
    所以它看起来像:
    元描述
    bing\google 的有趣句子
    STP 作为标签,悬停在上下文中。

    我认为,这很可能就像用核弹攻击苍蝇一样。
    它会把你的问题过度解决到一个荒谬的程度。

    【讨论】:

      【解决方案4】:

      下载此页面和parse 以提取您需要获取的所有内容:

      System.Net.WebClient client = new System.Net.WebClient();
      
      String url = "http://en.wikipedia.org/wiki/Wikipedia";
      
      String pageHTMLSource = client.DownloadString(url);
      
      //Parse pageHTMLSource
      

      【讨论】:

      • 我已经有了 HTML 源代码,但是如何确定哪个标签的文本包含适合我的数据以用于描述目的。它必须至少是几个字。
      猜你喜欢
      • 2011-11-27
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-02-26
      • 2011-08-05
      • 2023-04-04
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多