如何判断页面已完成加载？

Question

我正在使用 Chromium 的无头网络浏览器 API。基于chrome_remote_shell源码，我想出了如下代码：

#!/usr/bin/env python

import json
import requests
import pprint
import websocket

tablist = json.loads(requests.get("http://%s:%s/json" % ("localhost", 9222)).text)
print(tablist)
wsurl = tablist[0]['webSocketDebuggerUrl']
conn = websocket.create_connection(wsurl)
navcom = json.dumps({"id":0, "method":"Network.enable"})
conn.send(navcom)
navcom = json.dumps({"id":1, "method":"Page.navigate", "params":{"url":"https://news.ycombinator.com/"}})
conn.send(navcom)

while True:
    packet = json.loads(conn.recv())
    if 'method' in packet:
        print(packet['method'])
    else:
        print(packet)

这是示例输出：

[{u'description': u'', u'title': u'Hacker News', u'url': u'https://news.ycombinator.com/', u'webSocketDebuggerUrl': u'ws://localhost:9222/devtools/page/7d03a57d-77a9-4ceb-b645-3b85461de5be', u'type': u'page', u'id': u'7d03a57d-77a9-4ceb-b645-3b85461de5be', u'devtoolsFrontendUrl': u'/devtools/inspector.html?ws=localhost:9222/devtools/page/7d03a57d-77a9-4ceb-b645-3b85461de5be'}]
{u'id': 0, u'result': {}}
Network.requestWillBeSent
{u'id': 1, u'result': {u'frameId': u'21045.1'}}
Network.responseReceived
Network.dataReceived
Network.dataReceived
Network.loadingFinished
Network.requestWillBeSent
Network.requestWillBeSent
Network.requestServedFromCache
Network.responseReceived
Network.dataReceived
Network.loadingFinished
Network.requestWillBeSent
Network.requestServedFromCache
Network.responseReceived
Network.dataReceived
Network.loadingFinished
Network.requestWillBeSent
Network.requestServedFromCache
Network.responseReceived
Network.dataReceived
Network.loadingFinished
Network.responseReceived
Network.dataReceived
Network.loadingFinished
Network.requestWillBeSent
Network.requestServedFromCache
Network.responseReceived
Network.dataReceived
Network.loadingFinished

我注意到我收到了一长串消息，其中最后一个是 Network.loadingFinished，但我收到了多个 requestId 的消息。如何修改我的脚本，使其在页面完全加载时终止并且我可以逃脱循环？

Answer 1

原来我也应该通过 Page.enable 订阅页面事件：

#!/usr/bin/env python

import json
import requests
import pprint
import websocket
import sys

tablist = json.loads(requests.get("http://%s:%s/json" % ("localhost", 9222)).text)
print(tablist)
wsurl = tablist[0]['webSocketDebuggerUrl']
conn = websocket.create_connection(wsurl)
navcom = json.dumps({"id":0, "method":"Network.enable"})
conn.send(navcom)
navcom = json.dumps({"id":1, "method":"Page.enable"})
conn.send(navcom)
navcom = json.dumps({"id":2, "method":"Page.navigate", "params":{"url":sys.argv[1]}})
conn.send(navcom)

while True:
    s = conn.recv()
    packet = json.loads(s)
    if packet.get('method') == 'Page.loadEventFired':
        break
    print(s)

我们在这里所做的是启用页面和网络项目的通知，然后打开网站并阅读之后发生的所有消息。一旦我们到达 Page.loadEventFired，我们可以假设页面已经完成加载，此时我们可以退出循环并执行任何依赖于此条件的操作。

Answer 2

在任何一般意义上，你不能......不是真的。

鉴于当今的动态网页，您需要了解页面实际在做什么，并寻找某些特定事件/DOM 元素的存在或其他线索。

如您所见，您收到了很多 loadingFinished 事件，但您怎么知道它是“最后一个”事件？您需要了解该页面。例如，您能否通过观察页面将针对每个特定的 DOM 元素类发出一个请求，或者基于 javascript 变量或 XHR 响应来确定将发送多少请求？如果是这样，那么您可以在收到 n 个响应后停止。或者，最后一个请求（目标或有效负载）或最后一个响应（例如，零长度，包含文本“last”、^D 或 ^Z）是否有什么特别之处。

另外，如果页面正在轮询服务器（通常使用套接字），“完成加载”是什么意思？

onload 更新

如果您正在寻找onload 事件，您无需做任何特别的事情。 driver.get(<url>) 阻止到那时。

WebDriver 将等待页面完全加载（即onload 事件已触发），然后再将控制权返回给您的测试或脚本。值得注意的是，如果您的页面在加载时使用了大量 AJAX，那么 WebDriver 可能不知道它何时完全加载。如果您需要确保此类页面已完全加载，则可以使用等待。

Answer 3

我不确定 websockets 是如何工作的，但是当你连接到远程服务器时，你会在套接字上以块的形式接收数据。因此，要接收整个响应，您应该循环执行并执行此操作，直到您获得一个小于块长度的块，我的意思是当您的块为 4096 字节时，最后一个块将为 0 或 x<4096 其中 x 是长度是接收到的块。因此，有了这些信息，您就知道所有数据都是从远程服务器接收到的。请阅读有关套接字的信息。