将网页文本转储（附加）到文件

Question

我需要每 1 分钟将网页的内容（仅文本）转储到一个文本文件（将其全部附加到一个文本文件） 该网页是一个自动更新的网络日志。 我可以使用一个简短的 python 脚本来完成这个简单的复制/粘贴自动化吗？或者你知道有什么现成的程序可以做到这一点吗？

我已经检查了这个问题的答案： Python: saving large web page to file 这个：Dumping a dynamic web page to file? 但我是 python 新手，所以我无法根据提供的信息构建我的脚本

看来这可能是一个解决方案：https://www.seleniumhq.org/projects/webdriver/

但是你能给我一个小的工作例子吗

Answer 1

您完全可以使用 Python 来完成这项任务，但如果没有您要保存的网站的更多详细信息，就无法说这将是多么困难。

一个非常简单的示例可能如下所示（使用流行的请求库）。

import requests

response = requests.get('http://example.com')

with open('output.txt', 'w+') as handle:
    handle.write(response.text)

当然，对于这样一个简单的示例，Python 是多余的。您可以使用 curl 完成此操作：

curl http://example.com >> output.txt

那么您需要做的就是设置某种任务运行程序（可能是 cron）来每分钟运行一次，或者根据需要运行一次。

如果网站具有页面呈现所需的 JavaScript，您将需要使用更高级的解决方案，但就像我说的那样，您没有提供足够的细节来获得更详细的答案。