Linux，将网页内容另存为文本

Question

我需要一种方法来保存运行 java 的网站中的内容，例如：https://www.betfair.com/exchange/plus/tennis

我需要一个可以执行此操作的函数：Ctrl+A，创建文本文档，Ctrl+V，保存文档。

我知道 wget 和 curl，但我不能让他们完全这样做，有什么帮助吗？

Answer 1

Ctrl A 和 Ctrl V 的提及暗示了clipboard（和/或一些selection）的参与。仅当display server 与一些desktop environment 一起运行时才有意义。情况并非总是如此（例如，许多 Web 服务器在 Linux 下的数据中心中运行并且没有剪贴板；我也可以使用我的 Linux 系统在一些 virtual console 上运行一些 unix shell 而没有任何显示服务器）。

This answer 解释了如何在 shell 脚本中处理剪贴板。调整它以使用 wget 或 curl

请参阅xclip(1)、wget(1)、curl(1) 了解更多信息并巧妙地组合它们，也许在您的 shell 脚本中使用 pipeline。

我需要一种方法来保存网站内容

请务必详细了解您的具体案例中涉及的HTTP 交流（请求和回复，以及他们的headers）。你可能需要处理HTTP cookies。

您的主要问题可能是在 HTTP client 端（例如在某些现代浏览器中，或模仿它的东西）；这需要一种不同的方法。查看Selenium。

一些网站还提供web API 以编程方式查询（可能使用JSON 甚至REST）他们的内容。一个很好的例子是github REST API。您需要向目标网站的维护者咨询更多信息。

Answer 2

如果您想下载某个页面的内容并将其保存到文件中，您可以使用-O file 选项：

 wget "https://www.betfair.com/exchange/plus/tennis" -O tennis.txt 

请注意，在某些系统（CentOS 和其他系统）上，命令行中的参数顺序很重要。

wget -O FILE URL

有效。

wget URL -O FILE

不起作用（至少在 CentOS 上）。

如果您想使用 wget 下载整个网站，您可以执行以下操作：

$ wget \
 --recursive \
 --no-clobber \
 --page-requisites \
 --html-extension \
 --convert-links \
 --restrict-file-names=windows \
 --domains betfair.com \
 --no-parent \
     www.betfair.com/

INFO：如果您想隐藏跟踪信息，您可以使用 '-q'

有关详细信息，请参阅 wget 手册页：

$man wget