加载后获取 HTML 内容

Question

我有一个Share Extension，我在其中得到HTML，如下所示：

@objc func actionButtonTapped(){

        var html: String?

        if let item = extensionContext?.inputItems.first as? NSExtensionItem,
            let itemProvider = item.attachments?.first,
            itemProvider.hasItemConformingToTypeIdentifier("public.url") {
            itemProvider.loadItem(forTypeIdentifier: "public.url", options: nil) { (url, error) in
                if (url as? URL) != nil {

                    html = (self.getHTMLfromURL(url: url as? URL))

                    self.doStuff(html: html)
                }
            }
        }
}

问题：

我得到了 HTML，但没有得到完整的内容。如何获得网站的完整HTML-content？

更新：

原因是我想抓取任何产品的price，但有些网站没有在第一个HTML-get 上加载price ...

link 就是一个很好的例子。如果您单击价格并检查它，您可以看到它在classcurrent-price 中。但是，如果我使用上述方法检索HTML，则不会显示此class。

Answer 1

这个函数会从后台线程的url字符串中找到HTML（以免锁定你的UI），然后在处理之后你可以在主线程上更新你的UI：

func getHtml(_ urlString: String, completion: @escaping (String?, Error?) -> Void) {
    DispatchQueue.global(qos: .userInitiated).async(execute: {
        guard let url = URL(string: urlString) else {
            print("URLError: \(urlString) doesn't seem to be a valid URL")
            return completion(nil, URLError.init(URLError.Code.badURL))
        }

        do {
            let html = try String(contentsOf: url, encoding: .ascii)
            print("HTML: \(html)")
            return completion(html, nil)
        } catch let error {
            print("Error: \(error)")
            return completion(nil, error)
        }
    })
}

用法：

getHtml("https://www.google.com", completion: { html, error in
    if let e = error {
        print(e)
        // handle your error
        return
    }
    print(html as Any)
    DispatchQueue.main.async {
        //update your UI on the main thread
    }
})

更新：

您真的应该在服务器端抓取网页内容。如果不提供 WKWebView，iOS 不会让你这样做。

在 iOS 中，如果您想要 Chrome 的“检查”功能等数据，则需要在 WKWebView 的 didFinish 函数中加载 javascript：

func webView(_ webView: WKWebView, didFinish navigation: WKNavigation!) {
    let doc = webView.evaluateJavaScript("document.documentElement.outerHTML", completionHandler: { html, error in
        print(html)
    })
}

Answer 2

据我所知，加载客户端 Javascript 时存在问题，如果您使用 Promise 会有所帮助。

P.S.-看看这是否有用Client-side web access

Answer 3

这是一个使用 URLSession 和 URLRequest 的示例：

func retrieveHTML(from url: URL, completion: @escaping (String) -> Void) {
    let request = URLRequest(url: url)
    let session = URLSession(configuration: .ephemeral)
    let task = session.dataTask(with: request) { (data, response, error) in
        guard let data = data, error == nil else {
            print("Data not found, error encountered: \(error!)")
            return
        }

        if let httpStatus = response as? HTTPURLResponse, httpStatus.statusCode != 200 {
            let code = httpStatus.statusCode

            if code >= 400 {
                // You can do more here with these codes, but for sake of this example, we'll return
                print("Received error code from HTTP Response. Code: \(code)")
                return
            }

            if code == 301 || code == 302 {
                // You should update the incoming URL as it is moving, but early return not needed
                print("You could log this error here if desired")
            }
        }

        if let responseString = String(data: data, encoding: .utf8) {
            print("Data found, encoded as string")
            completion(responseString)
        }
    }
    task.resume()
}

您可能仍会遇到页面未完全加载的错误，具体取决于页面中 JavaScript 的呈现方式。这至少应该让你指向正确的方向。