array(2) { ["docs"]=> array(10) { [0]=> array(10) { ["id"]=> string(3) "428" ["text"]=> string(77) "Visual Studio 2017 单独启动MSDN帮助(Microsoft Help Viewer)的方法" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(8) "DonetRen" ["tagsname"]=> string(55) "Visual Studio 2017|MSDN帮助|C#程序|.NET|Help Viewer" ["tagsid"]=> string(23) "[401,402,403,"300",404]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400964" ["_id"]=> string(3) "428" } [1]=> array(10) { ["id"]=> string(3) "427" ["text"]=> string(42) "npm -v;报错 cannot find module "wrapp"" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "zzty" ["tagsname"]=> string(50) "node.js|npm|cannot find module "wrapp“|node" ["tagsid"]=> string(19) "[398,"239",399,400]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400760" ["_id"]=> string(3) "427" } [2]=> array(10) { ["id"]=> string(3) "426" ["text"]=> string(54) "说说css中pt、px、em、rem都扮演了什么角色" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(12) "zhengqiaoyin" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400640" ["_id"]=> string(3) "426" } [3]=> array(10) { ["id"]=> string(3) "425" ["text"]=> string(83) "深入学习JS执行--创建执行上下文(变量对象,作用域链,this)" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "Ry-yuan" ["tagsname"]=> string(33) "Javascript|Javascript执行过程" ["tagsid"]=> string(13) "["169","191"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511399901" ["_id"]=> string(3) "425" } [4]=> array(10) { ["id"]=> string(3) "424" ["text"]=> string(30) "C# 排序技术研究与对比" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "vveiliang" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(8) ".Net Dev" ["catesid"]=> string(5) "[199]" ["createtime"]=> string(10) "1511399150" ["_id"]=> string(3) "424" } [5]=> array(10) { ["id"]=> string(3) "423" ["text"]=> string(72) "【算法】小白的算法笔记:快速排序算法的编码和优化" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "penghuwan" ["tagsname"]=> string(6) "算法" ["tagsid"]=> string(7) "["344"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511398109" ["_id"]=> string(3) "423" } [6]=> array(10) { ["id"]=> string(3) "422" ["text"]=> string(64) "JavaScript数据可视化编程学习(二)Flotr2,雷达图" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "chengxs" ["tagsname"]=> string(28) "数据可视化|前端学习" ["tagsid"]=> string(9) "[396,397]" ["catesname"]=> string(18) "前端基本知识" ["catesid"]=> string(5) "[198]" ["createtime"]=> string(10) "1511397800" ["_id"]=> string(3) "422" } [7]=> array(10) { ["id"]=> string(3) "421" ["text"]=> string(36) "C#表达式目录树(Expression)" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "wwym" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(4) ".NET" ["catesid"]=> string(7) "["119"]" ["createtime"]=> string(10) "1511397474" ["_id"]=> string(3) "421" } [8]=> array(10) { ["id"]=> string(3) "420" ["text"]=> string(47) "数据结构 队列_队列实例:事件处理" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "idreamo" ["tagsname"]=> string(40) "C语言|数据结构|队列|事件处理" ["tagsid"]=> string(23) "["246","247","248",395]" ["catesname"]=> string(12) "数据结构" ["catesid"]=> string(7) "["133"]" ["createtime"]=> string(10) "1511397279" ["_id"]=> string(3) "420" } [9]=> array(10) { ["id"]=> string(3) "419" ["text"]=> string(47) "久等了,博客园官方Android客户端发布" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(3) "cmt" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511396549" ["_id"]=> string(3) "419" } } ["count"]=> int(200) } 222 从零开始教你用Course Crawler爬虫工具 - 爱码网

背景:

Course Crawler是一个开源项目,这个可以爬取一些学习视频,比如我最近在看Java,就爬了
一些Java的学习视频;
从零开始教你用Course Crawler爬虫工具
这世上没有无缘无故的爱憎。。。我写这个文档的原因是…之前把这个爬虫工具介绍给了一个
小伙伴,我说随便搞两个小时你就会了。

从零开始教你用Course Crawler爬虫工具

结果朋友这样回答我

从零开始教你用Course Crawler爬虫工具

从零开始教你用Course Crawler爬虫工具

一: 进入正题前,让我们扯点别的。。。

磨难不会让人成长,但是对磨难的反思会;我还依稀记得我大学我C语言考了65分,我感到很
羞愧,因为是院长教的,但我学习的那么差;将心比心,我毕竟工作了一年半了,看这个捣鼓起来比较快,要是一个啥也不会的小白你让人家咋整(比如我那个朋友,看到不要打我…)

在我刚毕业的时候,要是有人给我推荐一个网站,然后BlaBla说两个小时就能学会,我一定打爆他的狗头,问问他说的是人话吗,我连第一步都不会啊(这么坚强的我为啥哭了)。
从零开始教你用Course Crawler爬虫工具

二:

那我们进入正题呗… 先安装Python

从零开始教你用Course Crawler爬虫工具
从零开始教你用Course Crawler爬虫工具

从零开始教你用Course Crawler爬虫工具
弹出一系列的Python版本,我们就用最新的吧3.8.1的;
从零开始教你用Course Crawler爬虫工具
在D盘新建一个文件夹:

从零开始教你用Course Crawler爬虫工具

然后双击下载好的安装包安装:
从零开始教你用Course Crawler爬虫工具

我要改下安装路径:

从零开始教你用Course Crawler爬虫工具

注意这个pip后面会用到,继续点击Next,所有都默认好了…反正又不是用Python搞开发…

从零开始教你用Course Crawler爬虫工具
从零开始教你用Course Crawler爬虫工具

OK,Python安装成功了,我们close掉界面。

从零开始教你用Course Crawler爬虫工具

三:

安装这个爬虫工具需要的运行库, (这就是我那个朋友说的第一步就不会的地方…)

我们先找到pip的位置:(上面我自定义安装的)
D:\Python\Scripts

从零开始教你用Course Crawler爬虫工具

处于上面这个界面,在空白区域同时按住键盘上的shirft以及鼠标右键打开命令行窗口(WIN7);

从零开始教你用Course Crawler爬虫工具

如果是win10,它使用Powershell窗口替代了命令行;
从零开始教你用Course Crawler爬虫工具

OK,接下来我们输入命令:

pip install requests BeautifulSoup4 lxml

从零开始教你用Course Crawler爬虫工具

卧槽居然有报错,那我们按照它的提示再整下(win7就不会报错,只是格式不同):

.\pip install requests BeautifulSoup4 lxml

从零开始教你用Course Crawler爬虫工具

稳,安装成功了

从零开始教你用Course Crawler爬虫工具

四:

现在东西都准备好了,我们去github下载这个爬虫工具本身,感谢作者;

https://github.com/Foair/course-crawler

从零开始教你用Course Crawler爬虫工具

我们在浏览器输入地址,然后下载

从零开始教你用Course Crawler爬虫工具

把压缩包放到Python同级目录:

从零开始教你用Course Crawler爬虫工具

进入: D:\Python\course-crawler-master

还是和刚才一样,用shift+鼠标右键打开Powershell

从零开始教你用Course Crawler爬虫工具

五: 我们找下资源地址,比如我想看浙大陈越教授的数据结构:

从零开始教你用Course Crawler爬虫工具

这个还没开始,我们找下之前的,第10次的;
从零开始教你用Course Crawler爬虫工具

必须处于当前界面,把网址拷贝:

win7输入: mooc.py https://www.icourse163.org/course/ZJU-93001?tid=1207006212

win10输入: .\mooc.py https://www.icourse163.org/course/ZJU-93001?tid=1207006212

从零开始教你用Course Crawler爬虫工具

各种课件、pdf、视频源地址都爬好了:

从零开始教你用Course Crawler爬虫工具
进入Videos文件夹,然后可以用下载工具把视频下下来(比如用迅雷)之后用批处理文件,Rename.bat批处理文件,就能把文件名显示正常了。

从零开始教你用Course Crawler爬虫工具

之后大家可以用Potplayer播放器播放视频文件(强烈推荐,没有广告,这个是音视频开发常用的软件)

请大家不要把视频用于商业用途,如果要表达感谢,请给作者加个star.

希望对大家有帮助,努力学习感兴趣的课程,并且坚持下去,共勉!

OVER!

参考链接:

  1. https://github.com/Foair/course-crawler
  2. https://mooc.xoy.io/#/quick-start?tdsourcetag=s_pctim_aiomsg

相关文章: