【问题标题】:Dynamic website scraping not picking items in C#动态网站抓取不在 C# 中挑选项目
【发布时间】:2025-11-23 00:15:01
【问题描述】:

我想抓取以下网页。但是,像 selenium 和 puppeteersharp 这样的动态网站抓取库不会提取此页面表格上显示的项目(见图)。

https://www2.asx.com.au/markets/trade-our-cash-market/todays-announcements

上述库均未在 Headline 列下列出 href,但如果我尝试保存此页面的屏幕截图,我可以看到几行表格。

解决这个问题的最佳方法是什么?

为什么这些完善的库不能在此页面上运行?

【问题讨论】:

  • asx.com.au/asx/v2/statistics/todayAnns.do你试过直接从这个页面抓取吗?
  • 仅供参考,它是 scrape(和 scrapingscrapedscraper)不是废品。 “报废”(以及报废、报废、报废)意味着像垃圾一样扔掉:-(
  • 谢谢这是个好主意@Lee

标签: c# selenium selenium-webdriver puppeteer puppeteer-sharp


【解决方案1】:

您试图在此处抓取的内容位于 iframe 中。
要访问它,您必须切换到该 iframe。
请参阅here 示例如何使用 BeautifulSoup 切换到 iframe。
Here 在 iframe 中使用 Selenium 抓取的示例。
还有here 和 puppeteersharp

【讨论】:

  • 感谢您的宝贵时间。上面的 Lee 提出了一种更简单的方法。
  • @Patola 他为该特定站点找到了一种解决方法,而我试图向您展示适用于 iframe 中包含的任何数据的方式