之前葫小二分享了越姐在
2018爱奇艺世界·大会的主题演讲
《AI视频应用的今天和未来》
然而
许多迷弟迷妹并不满足
纷纷墙裂要求
看到现场视频和keynote
勤快又心善的葫小二
当然要响应号召啦
这就为大家奉上
(*≧▽≦*)
AI在Hulu的现有应用
越姐在演讲中首先提出,基于大量的数据、大量的用户、大量的内容和无限的想象空间,视频媒体是AI最好的应用场景之一。
由迪士尼、福克斯和NBC共同创建、后来时代华纳也入股的Hulu,拥有包括剧集、电视节目、电影、自制剧等大量版权优质视频内容,并可以直播上千个电视频道。
在Hulu这样偏向于技术应用的环境里,AI是无处不在的。越姐围绕用户、内容和广告三个维度展开,介绍了AI算法在Hulu的应用。
从用户的维度说,每个人在Hulu首页上看到的cover story和布局都是不一样的,这是推荐算法决定的。
从内容的维度看,我们运用计算机视觉、自然语言处理、深度学习的技术进行视频理解,获取元数据--用来描述视频的数据。Keynote上白色的部分是人为添加的标签,蓝色的部分则是通过内容理解学出来的,很多时候还能学出更有意思的结果来。
这就联系到了第三个维度,广告。我们可以在三个层次上把视频和广告连接起来:视觉层面、语言层面和语义层面。通过这三个层次理解了视频之后,我们就可以做各种各样的组合来推荐广告。
Hulu的算法体系架构
这是Hulu目前用以支持机器学习和AI算法的体系架构。
那么未来Hulu想做什么呢?
这里以content embedding为例。正如前面提到的,我们从不同来源获得对内容的理解,用feed forward network做成一个128维的向量。在Hulu的数据库里,每个视频都有一个相对的向量,这样即使新推出的剧集没有观看历史,也能推荐给用户。
在重新梳理的架构中,我们把过去分散的机器学习结合在了一起,“做一次用多次”。
AI算法架构最底层是infrastructure,最顶层为application。我们希望下面的层次越来越厚,上面的层次越来越薄。下面做得越好,上面就可以应用得越快。
AI视频的未来
未来的AI视频技术会更加成熟,场景更复杂,可想象的空间也更大。
第一,人们希望知道自己为什么被推荐了这个内容。Explainable AI是学术界和工业界新兴的一个分支,也即machine learning的可解释性。
第二,我们希望做有创意的交互体验。它可以把原来相对死板的推荐场景,变成非常个性化、有意义、有上下文的一个推荐场景。
与此同时,Hulu希望以完全自动化的方式,在多种渠道、在合适的时间、给合适的人、以合适的频率推合适的内容。
Hulu希望不仅在内容生产上实现个性化,也希望在设计上做到真正的千人千面。比如对于《权力的游戏》,有人喜欢优美的的风景,有人喜欢这些男女主角,有人喜欢打斗场面,那我们就根据用户不同的偏好,尝试在封面设计上做到真正的千人千面。
以上就是越姐演讲的主要内容
一言以蔽之
视频媒体是AI和机器学习
最好的应用场景之一
而现在正是开发这些应用的好时机