爬虫 - 爱码网

Python爬虫:原来微博上的视频下载链接在这啊

最近看了一下网页版的微博，觉得那上面的视频不错，想获取它上面的下载链接，于是就写了这篇博文。 1. 几个视频播放平台的下载链接的实现 1. 西瓜视频西瓜视频这个平台上面的视频下载链接一开始就存在于视频播放界面，电脑键盘F12键查看源码，按Ctrl+F搜索script标签，依次点击，可以发现其中一个 ... »

玫瑰花变蚊子血,自动化无痕浏览器对比测试,新贵PlayWright Vs 老牌Selenium,基于Python3.10

也许每一个男子全都有过这样的两个女人，至少两个。娶了红玫瑰，久而久之，红的变了墙上的一抹蚊子血，白的还是床前明月光；娶了白玫瑰，白的便是衣服上沾的一粒饭黏子，红的却是心口上一颗朱砂痣。--张爱玲《红玫瑰与白玫瑰》 Selenium一直都是Python开源自动化浏览器工具的王者，但这两年微软开源的P »

python爬虫学习——文件操作，异常处理

##文件操作 ''' f = open("a.txt","w") #打开一个文件， w模式（写），如果文件不存在就在当前目录下创建 f.write("hello world,i am here") #将字符串写入文件中 f.close() #关闭文件 ''' ''' #read方法：读取指定的字符， ... »

python爬虫xpath模块简介示例代码

目录一、前言一、简介二、安装三、使用四、案例一、前言前两篇博客讲解了爬虫解析网页数据的两种常用方法，re正则表达解析和beautifulsoup标签解析，所以今天的博客将围绕另外一种数据解析方法，它就是xpath模块解析，话不多说，进入内容：一、简介 XPath 是一 »

python爬虫学习——列表

namelist = [] #定义一个空的列表 namelist1 = ["小张","小红","小李"] print(namelist1[0]) print(namelist1[1]) print(namelist1[2]) testlist = [1,"测试"] #列表中存储混合类型 print( ... »

C#网络爬虫开发

1前言爬虫一般都是用Python来写，生态丰富，动态语言开发速度快，调试也很方便但是我要说但是，动态语言也有其局限性，笔者作为老爬虫带师，几乎各种语言都搞过，现在这个任务并不复杂，用我最喜欢的C#做小菜一碟~ 2开始之前做 OneCat 项目的时候，最开始的数据采集模块，就是用 C# 做的， ... »

Python爬虫报错＜response [406]＞(已解决)

目录报错问题报错原因解决方法报错问题粉丝群里面的一个小伙伴遇到问题跑来私信我，想用想用Python爬虫，但是发生了报错（当时他心里瞬间凉了一大截，跑来找我求助，然后顺利帮助他解决了，顺便记录一下希望可以帮助到更多遇到这个bug不会解决的小伙伴）报错代码如下所示： »

Scrapy爬虫框架快速入门

安装scrapy pip install scrapy -i https://pypi.douban.com/simple/ 安装过程可能遇到的问题版本问题导致一些辅助库没有安装好，需要手动下载并安装一个辅助库Twisted 运行时候：ModuleNotFoundError: No module »

C#爬虫开发小结

前言 2023年以来一直很忙，临近春节，各种琐事更多，但鸽了太久没写文章总是不舒坦，忙中偷闲来记录下最近用C#写爬虫的一些笔记。爬虫一般都是用Python来写，生态丰富，动态语言开发速度快，调试也很方便但是我要说但是，动态语言也有其局限性，笔者作为老爬虫带师，几乎各种语言都搞过，现在这个任务并 ... »

JS逆向之补环境过瑞数详解

JS逆向之补环境过瑞数详解 “瑞数” 是逆向路上的一座大山，是许多JS逆向者绕不开的一堵围墙，也是跳槽简历上的一个亮点，我们必须得在下次跳槽前攻克它！！好在现在网上有很多讲解瑞数相关的文章，贴心的一步一步教我们去分析瑞数流程，分析如何去扣瑞数逻辑，企图以此教会我们 (手动狗头)。却鲜有文章详细去讲 ... »

Socket爬虫：Python版

对于爬虫底层实现的学习笔记，requests，httpx等，都是基于该原理实现的，理解学习socket实现更好理解底层运行情况。 ... »

python网络爬虫数据解析之正则

python网络爬虫数据解析之正则本节内容，讲解爬取网络图片，利用正则匹配图片地址请求网页之后，响应部分内容如下图： 1 时间：2023/1/7 10:42 2 功能描述 3 1.进行指定标签的定位 4 »

Python爬虫程序中使用生产者与消费者模式时进程过早退出的问题

之前写爬虫程序的时候，采用生产者和消费者的模式，利用Queue作为生产者进程和消费者进程之间的同步队列。执行程序时，总是秒退，加了断点也无法中断，加打印也无法输出，我知道肯定是进程退出了，但还是百思不得解，为什么会这么快就退出。一开始以为是我的进程代码写的有问题，在某个地方崩溃导致程序提前退 »

【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！

用python爬取并分析《2021胡润百富榜》的榜单数据！ 1、python爬虫讲解（requests向接口请求）。 2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 ... »