广电智能推荐点播系统实践(1)
主要讲我开发的广电回看、点播、OTT的智能推荐系统
涉及主要技术:架构设计、爬虫、搜索引擎、智能推荐算法、docker、深度学习、前端开发
主要语言python
说在最前面
这个项目早在两年前就想弄了,由于各种原因,一直耽搁了下来。最近看了深度学习的入门文章,想到研究生阶段做的医疗图像分割项目,用的也是梯度下降算法,都是求最优解的过程,最后我还GPU加速了一下。好多回忆。。。
没事的时候,经常用深度学习经典教程字母识别的模型,套智能推荐点播,似乎觉得能够建模出一套视频点播的学习模型。那就开工吧。
为了保守起见,我选择从经典智能推荐算法协同过滤开始,先把系统建起来,最终把算法演进到深度学习上。
经过一个多月垒代码,总算有了0.9版本。划去深度学习部分的工作,剩下的工作,差不多完成了80%。目前回看数据都已经打上分类标签,用户点击以后,可以看到程序聚合的7天全部回看。 下面是一些效果图。
为什么来写博客,项目遇到问题了!
由于python docker ES几乎项目用到的所有技术都是现学现卖,一个多月实在无暇架构设计,导致系统弹性很弱。现在想加入人工校对、多级审核、关键词过滤功能,发现很困难。
决定放慢脚步,放弃更新1.0版本。把系统架构梳理一下,重写这个项目的2.0版本。把整个实践过程整理成博客,分享给大家。
先简单拟一个目录
2017-10-19号起每周四晚更新,目录存在不准确性,有些工作量大的可能要拆分,工作量小的可能会合并
- 架构设计-需求分析思维导图
- 架构设计-鲁棒图分析
- 架构设计-详细设计
- 架构设计-我实践的微服务
- 信息采集爬虫-scrapy爬虫实践和坑
- 信息采集爬虫-爬取豆瓣电影
- 信息采集爬虫-爬取豆瓣热门
- 信息采集爬虫-接入某网站直播节目单信息
- 搜索引擎-ElasticSearch介绍
- 搜索引擎-ElasticSearch实践和坑
- 搜索引擎-ElasticSearch实例各存储
- 前端开发-机顶盒流畅动画实现
- 前端开发-广电播放器实践
- 前端开发-django+nginx+uwigs生产部署
- 运维-docker介绍
- 运维-docker实践和坑
- 广电回看-广电回看信息采集
- 广电回看-广电回看信息过滤
- 广电回看-广电回看信息某些统计规律和最小工作量的人工修正方法
- 广电回看-广电回看信息标签化和节目详情碰撞
- 智能推荐算法-热门推荐算法和实现
- 智能推荐算法-用户点播行为采集、分析和处理
- 智能推荐算法- 协同过滤算法
- 智能推荐算法-基于内容的协同过滤算法
- 智能推荐算法-深度学习介绍
- 智能推荐算法-推荐算法从传统向深度学习演进