Python爬虫学习日志（2） 1.笔记 视频课程 各种爬虫的适用范围 Robots 协议 http://www.jd.com/robots.txt http://…/robots.txt 网站的根目录 #注释，代表所有，/代表根目录 User-agent： Disallow：/ 类人行为可不参考 2.重点 网络爬虫，“盗”亦有道！ 相关文章： 2021-12-06 2021-09-20 2021-11-13 2021-05-20 2021-10-31 2022-12-23 2021-05-02