使用python从不同的电子商务网站提取价格

Question

当用户在界面中输入书名并显示所有信息时，我需要开发一个网络应用程序，用于从不同的电子商务网站（如 amazon、homeshop18）中提取图书价格。

我的问题是 1）如何将该查询传递给亚马逊网站搜索框，我只能获取与查询相关的页面，而不是抓取整个网站。

2) 可以使用什么来开发此应用程序？BeautifulSoup 还是 scrappy？API 并非所有电子商务网站都可以使用它

我是 python 新手。所以任何帮助都将受到高度赞赏

Answer 1

我个人使用 BeautifulSoup 来解析网页，但要注意如果您必须大量解析页面，它会有点慢。我知道lxml 更快，但对编码器不太友好。要猜测正确的参数（对于 HTTP GET 或 POST）来获取所需的结果页面，您应该这样进行：

1. 打开 Firefox 的 firebug 插件或 Chrome 的集成检查器
2. 进入您感兴趣的网页并进行搜索
3. 进入 firebug/inspector 查看 Firefox 或 Chrome 发送到网站的 HTTP 请求参数。
4. 在您的 python 脚本中重现该请求。例如使用 urllib

还有另一种猜测正确的 HTTP GET 或 POST 参数的方法，它是使用像 Wireshark 这样的网络分析器。这是一种更详细的方法，但感觉更像 使用 Firefox/Chrome 中的工具后，大海捞针。