如何从专有 CMS 迁移资源？答案

【问题标题】：How to migrate resources from proprietary CMS?如何从专有 CMS 迁移资源？
【发布时间】：2009-05-19 05:03:21
【问题描述】：

我需要从使用活动服务器页面的专有 CMS 迁移我们的网站。是否有工具或技术可以帮助从现有站点下载资源？我想我正在寻找一种可以抓取和抓取整个网站的工具。

另一个挑战是该站点使用 SSL 并受到基于表单的身份验证的保护。我有必要的凭据，我可以获取验证会话的 cookie，但我不确定从这里去哪里，如果现有工具可以帮助我，我不想重新发明轮子。

编辑 - 我使用的是 Windows 操作系统

【问题讨论】：

【解决方案1】：

wget 可能是您使用的好工具

wget --load-cookies cookies.txt --mirror --page-requisites http://example.com/

如果您希望使其更适合本地存档，而不是您可以在某处重新上传的内容，请添加 --convert-links。

可以从 sourceforge.net 上的 gnuwin32 项目获得 wget 的 windows 版本 http://gnuwin32.sourceforge.net/packages/wget.htm

【讨论】：

【解决方案2】：

wget --http-user:username --http-pass:password -r http://yoursite.com

这将获取整个网站（递归）。如果你在 Windows 上，你会想要安装 cygwin 或类似的东西来使用它，尽管我相信你可以下载 wget 的 Windows 版本/克隆。

【讨论】：

【解决方案3】：

如果您了解 Perl，您可能会喜欢 WWW::Mechanize。取决于您尝试实现的自动化水平 - wget 在某些情况下可能会很好。

【讨论】：

【解决方案4】：

你有很多选择。要考虑的一件事是身份验证的复杂程度。除了wget，您还可以查看curl（一个非常强大的选项，可以绑定多种不同的语言）、Python 的urllib、Apache HttpClient、WWW-Mechanize 等。

【讨论】：