如何防止 Selenium 从网页下载某些“源”？

Question

我正在使用 Selenium 进行一些网络抓取活动，我真的觉得有必要通过阻止特定文件类型来限制数据消耗或文件名从被下载。我希望通过 regex 过滤器来阻止它们，例如：

• *.MP4
• *.css
• *ads.google.com*

到目前为止，我还没有找到任何解决方案，如果可能的话，我期待一个 JavaScript 解决方案...

Answer 1

我发现可以通过调解 Chrome 扩展 中间件来实现该解决方案。

特别是在background-scripts 中，您可以使用onBeforeRequests 来处理和过滤每个请求

chrome.webRequest.onBeforeRequest.addListener(
        function(info) {
            return {cancel: info.url.toLowerCase().includes('.css') || info.url.toLowerCase().includes('.gif') || info.url.toLowerCase().includes('.png') || info.url.toLowerCase().includes('.jpg') || info.url.toLowerCase().includes('.jpeg') || info.url.toLowerCase().includes('.webm') || info.url.toLowerCase().includes('.webp') ||info.url.toLowerCase().includes('.mp4') || info.url.toLowerCase().includes('allHeaderNonBlocking.js') || info.url.toLowerCase().includes('allHeader.js?') || info.url.toLowerCase().includes('/analytics.js') || info.url.toLowerCase().includes('googletagmanager') || info.url.toLowerCase().includes('calleo-livechat') || info.url.toLowerCase().includes('.svg') };
        },
        {
            urls: ["<all_urls>"]
        },
        ["blocking"]
    );