在 Flutter 应用中使用 dart 抓取动态网站答案

【问题标题】：Scrape dynamic websites using dart in flutter app在 Flutter 应用中使用 dart 抓取动态网站
【发布时间】：2019-11-23 05:09:12
【问题描述】：

我有一个网站，它使用一些 javascript 生成项目列表，我正在尝试使用漂亮的 dart 肥皂包在我的颤振应用程序中抓取它。问题是我无法抓取 java 脚本生成的动态数据。我想实现一个解决方案，允许我在网站完全加载到应用程序中后获取网站的源代码。应用程序中隐藏的 webview 将是完美的，但阻碍我的是如何在 webview 加载后获取数据。这是我主要关心的问题。代码示例将不胜感激。也欢迎更好的做法。

【问题讨论】：

找到方法了吗？
不，没有进展。
我也需要这个。

标签： selenium web-scraping flutter dart

【解决方案1】：

我开始意识到，使用特定脚本抓取包含一些 javascript 的动态网站或您想要在其中点击的网站以正确抓取它是无法通过 Flutter 移动设备实现的。您应该做的是通过创建自己的 api 然后使用此 api 将响应返回到您的应用程序来将抓取移动到云端。这将使抓取更容易，因为您不必为脚本中发现的每个错误更新您的应用程序。还想象一下，您定位的网站每周都会更新自己，那么您将不得不每周更新您的应用程序并等待您订阅的所有商店的批准。一个简单的例子是通过利用 puppeteer 包将 firebase 中的 cloud functions 与 javascript 结合使用。一个简单的视频教程在这里：Tutorial over youtube

【讨论】：