确定 URL 是否在给定 URL、页面 DOM、父 URL 和其他页面 URL 的网页的页眉/页脚中答案

【问题标题】：Determine if a URL is in the header/footer of a web page given URL, page DOM, parent URL and other page URLs确定 URL 是否在给定 URL、页面 DOM、父 URL 和其他页面 URL 的网页的页眉/页脚中
【发布时间】：2010-07-21 04:00:24
【问题描述】：

给定一个 URL、第一个 URL 所在网页的 URL、网页的 DOM 以及网页上其余 URL 的列表，我如何可靠地确定URL 位于页面的页眉/页脚中，或者两者都没有？

我正在使用 C#/.NET。

我知道没有完美的解决方案，因为网页没有语义表达，也因为某些网站/页面专门混淆了他们的页面，但我想构建一些适用于 75% 的网页的逻辑强>。

此外，还有其他有助于确定 URL 在页面中的位置的信息吗？

【问题讨论】：

标签： c# html url heuristics

【解决方案1】：

我认为这里的创意任务是定义“页眉”和“页脚”，例如“距顶部小于 x 个单位的内容”或“页面上的最后 200 个字符”。完成此操作后，您可以根据这些规则解析页面。

【讨论】：

是的，这正是问题所要求的...启发式（问题的标签之一）将 URL 标记为位于页眉或页脚中。我知道我需要定义这些非常广泛的想法。我正在寻找从所有简单的东西（例如页面上的第一个 x 链接之一）到非常复杂的东西（在 DOM 中回溯寻找看起来像页眉和页脚的容器）。我想强调简单的启发式方法，因为我正在寻找 75% 的网站。这 75% 是我认为的表现良好的页面。我不会将 90% 的时间花在其他 25% 的页面上。谢谢。
此外，我希望“页眉”和“页脚”成为您通常认为的网页页眉和页脚。当您查看页面时，它往往很明显，但在仅查看页面的 HTML 时显然不会立即明显。这是问题挑战的一部分，我想尝试识别可以将 URL 标记为在页眉/页脚中的启发式方法。 我不想限制页眉/页脚的概念，而是希望尽可能地适应每个页面。