【发布时间】:2012-12-30 19:26:58
【问题描述】:
我正在使用 python webkit.WebView 和 gtk 来抓取网页。但是,网页是由 javascript 动态加载的。
WebView“加载完成”事件不足以处理此问题。是否有任何指标/事件让我知道即使是 javascript 生成的内容,页面也确实已完全加载?
谢谢,
【问题讨论】:
标签: javascript python webview webkit web-crawler
我正在使用 python webkit.WebView 和 gtk 来抓取网页。但是,网页是由 javascript 动态加载的。
WebView“加载完成”事件不足以处理此问题。是否有任何指标/事件让我知道即使是 javascript 生成的内容,页面也确实已完全加载?
谢谢,
【问题讨论】:
标签: javascript python webview webkit web-crawler
没有真正的方法可以确定该页面是否已完全加载。
一种方法是确定自上次请求以来的时间量。但是,有些页面会不断地重复请求。这在跟踪脚本和一些广告脚本中很常见。
我要做的是在网络视图说它完成加载后使用一定的时间...... 5 秒左右。它并不完美,但却是你得到的最好的,因为无法确定任意页面的“完全加载”是什么。
【讨论】: