用 GOOGLE 在 html 源代码中搜索？ [关闭]答案

【问题标题】：Search in html source with GOOGLE? [closed]用 GOOGLE 在 html 源代码中搜索？ [关闭]
【发布时间】：2011-05-15 00:35:23
【问题描述】：

我有几个网站，但我不记得我在哪里写了几行代码。由于我的页面已被 Google 索引，我想知道 Google 是否提供在 HTML 源代码/标记本身内搜索的工具， 而不是 只允许在可视化、呈现的部分内进行搜索一页？

谢谢

【问题讨论】：

【解决方案1】：

我在旅途中遇到了以下资源（上面已经提到了一些）：

以 HTML 标记为中心的搜索引擎

我还想输入以下内容：

庞大的网站抓取数据档案

我们如何分析这些抓取数据？

如需了解如何开始分析这些海量数据，请查看Big Data/Map-reduce-type frameworks(s)。

文章Accessing-Common-Crawl-Dataset-on-S3 概述了以低成本方式访问Common Crawl's 250TB+ dump(s)，将数据负载转移到 Amazon 的 AWS/S3 网络之外。当然，这假设您将使用某种组合 AWS/EC2/S3 等来分析抓取数据。

就我个人而言，我觉得这个主题很有趣，我建议我们趁热获取这个抓取数据！ ;-)

【讨论】：

在我的例子中，站点引擎正在泄漏来自特定域的私有 URL（我确信它不是来自用户）。如何在单个域的源中进行搜索？ （为了找到泄漏的来源）
假设您可以访问类似 Unix 的 Bash 控制台（在 Windows 上尝试 'Git Bash'、unxutils 或 cygwin），您可以使用基于 wget/curl/xidel 各种组合的多种解决方案/grep/awk 例如。 This SO post 包含各种解决方案，this is the Google search I used。
基本上，您需要遍历域中的重要 URL 以查找/存储哪些页面正在“泄漏”。
该网站有数 PB 大小，包含数十亿个ᴜʀʟ。几乎所有页面都不是静态的。你有比自己爬的更好的解决方案吗？
听起来您可能需要在高并发环境中运行爬网。集群参与者模式，例如 Scala/Java 的 Akka 应该这样做，或者看看类似集群的 map-reduce 模式（将 URL 收集/识别工作提供给子单元，在 Spark 或 @ 987654338@)。我包括some related resource URL in a pastebin。想知道你往哪个方向走会很有趣，请告诉我们。

【解决方案2】：

您可以尝试PublicWWW 在源代码/标记中进行搜索。它允许在 167+ 百万个网站的网页源代码中查找任何 HTML、JavaScript、CSS 和纯文本。

使用 PublicWWW，您可以：

当然，您不仅可以找到使用某些代码/标记 sn-p 的网站。

【讨论】：