新手：如何从商店/目录之类的网站访问内容？答案

【问题标题】：newbie: how to access content from a shop/catalog like website?新手：如何从商店/目录之类的网站访问内容？
【发布时间】：2012-01-22 02:38:37
【问题描述】：

我喜欢从网页中访问一些数据，这些网页的排列方式类似于 Android 应用中的目录/商店。

举个具体的例子：这是亚马逊在马克吐温的书中列出的 URL：

1) 如果我有上述 URL，我如何获得例如

最好的（正确 + 兼容 + 高效）方法是什么？我的印象是 jquery 可能有用。但到目前为止，我对 HTML 和 Javascript 的了解还只是基本的。

2) 如何查询马克吐温所有书籍的网址？

3) 对于此类主题和类似主题有什么建议的阅读材料吗？

感谢您的宝贵时间，祝您有美好的一天！

托马斯

【问题讨论】：

【解决方案1】：

建议您不要“screen scrape”其他网站。除了难以维护（随着网站的变化等） - 这实际上违反了许多网站的使用/服务条款 (TOS)。

相反，请查看所需的网站是否提供您可以使用的网络服务。这些将以更易使用的格式返回数据，例如 JSON 或 XML。您通常还会获得自己的开发人员密钥（用于跟踪请求），以及其他可能的功能，如果直接针对 HTML，您将无法获得这些功能。

尤其是亚马逊，肯定会提供这种服务。有关详细信息，请参阅https://affiliate-program.amazon.com/gp/advertising/api/detail/main.html。（不要被“广告”的命名混淆了。）

【讨论】：

好的。似乎亚马逊是一个不好的例子。我之所以接受它，是因为它广为人知，并且可能比我想到的特定页面之一更笼统。例如，我喜欢从quotationspage.com 之类的页面中导航和提取引号。我想到的其他网站甚至鲜为人知，肯定不会有这样的 API。