如何从网页的 url 列表中收集图像和产品信息答案

【问题标题】：how to gather images and product information from a list of urls from a webpage如何从网页的 url 列表中收集图像和产品信息
【发布时间】：2022-11-17 05:13:10
【问题描述】：

我想从 URL 中获取产品信息和照片并将它们保存到 excel 文件中，这样我就可以使用 woo commerce 将它们上传到 WordPress 电子商务网站。

所以基本上我想将所有产品从一个网站导出到一个文件中并上传文件以吸引商业以节省数据输入时间。这可能吗？我熟悉 c# 和 python 但不熟悉网络抓取。非常感谢你！

我使用网页的站点地图收集了产品网址列表。

<url>
        <loc>https://gardeninghaven.com</loc>
        <lastmod>2022-11-16T12:39:50-07:00</lastmod>
        <changefreq>always</changefreq>
        <priority>1.0</priority>
    </url>
    <url>
        <loc>https://gardeninghaven.com/store/ols/products</loc>
        <lastmod>2022-11-16T14:08:09+00:00</lastmod>
        <changefreq>always</changefreq>
        <priority>0.5</priority>
    </url>
    <url>
        <loc>https://gardeninghaven.com/store/ols/products/hydro-fusion-fill-drain-kit</loc>
        <lastmod>2022-03-30T20:40:51+00:00</lastmod>
        <changefreq>always</changefreq>
        <priority>0.5</priority>
    </url>
    <url>
        <loc>https://gardeninghaven.com/store/ols/products/supermoss-reindeer-moss-preserved-mango-2oz-8075cu-in-bagged</loc>
        <lastmod>2022-05-10T13:53:47+00:00</lastmod>
        <changefreq>always</changefreq>
        <priority>0.5</priority>
    </url>

【问题讨论】：

标签： python c# xml selenium woocommerce

【解决方案1】：

在我看来，有一些用于网络抓取的选项：BeautifulSoup、Scrapy，甚至使用直接请求来访问产品 api。

pip install beautifulsoup4
pip install scrapy
pip install requests

【讨论】：