机器学习界有两大顶级会议，一是ICML（全称为International Conference of Machine Learning，今年Hulu有两篇文章被ICML接收）,另一个是NIPS（全称为Neural Information Processing Systems）。
据坊间传言，早年间，因为组织NIPS的大佬们喜欢滑雪，所以一定要在可以滑雪的地方召开，所以大多数时候都在加拿大或者美国东北部，这样白天大家都可以去滑雪增进感情，下午回来互相介绍科研工作，其乐融融。
今年的NIPS一改往年都在滑雪场附近召开的传统，在美丽的西班牙巴塞罗那召开。巴塞罗那市区人口160万，而本次NIPS的参会人数超过了6000人，看着如此多的人涌进会场，很多当地人都感到惊讶。2017年的NIPS将在距离Hulu Santa Monica总部很近的加州长岛召开，而2018年的NIPS则会返回加拿大蒙特利尔。
今年NIPS会议，Hulu派出了两位研究员参加，分别是高级研究员唐邦晟和研究员郑胤。由于近些年人工智能特别是深度学习技术引起了工业界的极大关注，与机器学习相关的公司都派出了与会代表。
以上是一些絮叨的背景介绍，下面就让我们的两位hulugans带着大家一起领略顶级会议的高端吧～
NIPS会场外围
现场等待注册的人群
历年来NIPS注册人数
貌似呈指数增长
”
今年NIPS 有2500多篇投稿，有568篇文章被接收，其中有45篇做口头报告。全世界共有3242名审稿人。为了减少审稿人给出的评分的偏差，今年NIPS每篇文章大概都有6个审稿人给出意见。Hulu Beijing的郑胤研究员是NIPS审稿人之一，评审了3篇关于推荐系统的投稿（此外，郑胤还是ICML/ICLR/CVPR/ECCV/AISTATS等会议的审稿人）。
在投稿中“深度学习”主题的文章数目排名第一，其次是“计算机视觉和大规模机器学习”。
”
大会第一天
1
Tutorial和主旨演讲
今年的NIPS Tutorial部分可谓众星云集，包括David Blei，Andrew Ng，Ian Goodfellow，Francis Bach等一众大牛纷纷登台给大家讲解机器学习领域中最热门和最重要的领域的基础知识和进展。而主旨演讲是由Facebook AI实验室的主任Yann LeCun给出的Predictive Learning。
在主旨演讲中Yann LeCun用蛋糕的各个部分来类比人工智能中的unsupervised learning， supervised learning以及reinforcement learning三大领域。
unsupervised learning是蛋糕的主体，需要有强大的unsupervised learning技术才能保证人工智能的发展。Unsupervised learning需要模型对数据本身的结构有很多理解，并且能够预测出数据本身的任何一部分。
supervised learning是蛋糕上面的糖霜，他要在蛋糕本体很大的基础上能够更好的工作。一般而言，supervised learning预测的是向量（类别或者是一些数字）。
“pure”reinforcement learning是蛋糕上的用以点缀的樱桃，它要在高度抽象的基础上预测出一些标量值（reward）。当然，他也觉得这番比喻肯定会让以reinforcement learning的工作而著称的DeepMind公司不满，Yann LeCun在演讲中表示这只是一个比喻，并且表示当reinforcement learning与unsupervised learning这块大蛋糕的本体结合在一起的时候，就可以让人工智能大放光彩。笔者由此联想到了今年震惊世界的Alpha Go。
接下来Yann LeCun介绍了人工智能领域遇到的困难以及近期重要的进展。 他提出 “智能&常识=感知+预测模型+记忆+推理&计划” 这个公式，以此来指出研究者们需要努力的方向。之后，他讲述了一下他认为在实现人工智能中的一些重要的进展，其中包括
· Learning Physics： 预测下落物体的轨迹；
· Entity RNN：从文本中来理解实际；
· 具有记忆的网络，LSTM，神经图灵机，可微分神经计算机等；
· 对抗训练：生成式对抗网络（GAN， generative adversarial network）；
· 视频预测：使用对抗网络对视频内容做预测。
在Tutorial部分中，Hulu 研究员们参加了David Blei等人主讲的变分推断，以及Anderw Ng主讲的如何打造一个基于深度学习的人工智能系统，以及Ian Goodfellow主讲的生成式对抗网络三个课程。在变分推断的课程中，David Blei等人讲述了变分推断的基本原理（包括中值场推断等）和最新进展（包括变分自编码器，reparameteritaton trick等）以及一些训练模型时候的减少variance的技巧。这些内容系统的概括了变分推断的发展脉络以及在深度学习流行的今天的进展。
在Andrew Ng的Tutorial部分，Andrew Ng首先问了一下现场有多少是来自工业界的，举手的人甚多。然后Anderw Ng顺理成章的讲述了关于如何在工业界中构建基于深度学习的人工智能基础。由于面向的听众主要是工业界人士，因而这个课程比较偏向于基础的如何构建训练集/验证集/测试集，如何定义评价指标等一些基础的知识。
在课程的最后Andrew Ng结合他在百度的工作经验谈到了在人工智能领域中的产品经理的职责与传统的产品经理的职责的不同，他表示人工智能领域中的产品经理需要知道一些机器学习的知识并且给研究员/工程师指出一些具体的指标，而不是仅仅提需求和沟通。
第一天的Tutorial中，毕业于蒙特利尔大学，Generative Adversarial Network (GAN) 模型的发明人，目前在OpenAI工作的Ian Goodfellow，给出了关于GAN模型的课程。涵盖了GAN的基本概念以及如何得到更加稳定的模型，以及在各个领域中GAN模型的拓展和应用，感兴趣的同学们可以参考今年 Ian Goodfellow在NIPS发表的论文《Improved Techniques for Training GANs》。另外，目前State-of-the-art的对抗网络为Plug & Play Generative Networks，对GAN感兴趣的同学值得一读。
NIPS主会
2
Invited Talk与颁奖
如果说第一天主要是大会的前菜，那么第二、三天则进入了大会的正餐。在Invited talk之后分别是最佳论文的颁奖和最佳学生论文的颁奖，之后是oral环节，深度学习仍然是主角。此外，延续去年的传统，今年有三个研讨会(Symposium)，分别为深度学习(DL)，机器学习与法律(Machine Learning and the Law)，以及并发神经网络(RNN)。
今年获得最佳论文奖的文章是：
Value Iteration Networks （VIN）
值迭代（Value Iteration）是Reinforcement Learning中的一个常用而且非常重要的概念，主要值得是不断的优化Value function来做最佳策略优化和选择。这篇文章用可微分的神经网络来学习策略，不单单学习从状态到策略的过程，还学习如何做策略。
今年的最佳学生论文是:
由Rong Ge, Jason Lee, Tengyu Ma发表的
Matrix Completion has no Spurious Local Minima
这篇论文给出了证明：在满足一定条件下，矩阵分解的全部局部最优解都是全局最优解。这是一个非常强的结论，如果能推广到神经网络上，就可以解释为什么在神经网络这个非常多的局部最优解的空间中为何一般性能都很好。在talk中Tengyu Ma介绍了他们在神经网络方面的进展，期待他们的新论文。下面给出一个Tengyu Ma做报告时候的照片。
Tengyu Ma做最佳学生论文时候的现场照片
在Invited talk方面，DeepMind的Drew Purves做了关于人工智能的生态圈的报告，讲述了如何构建人工智能组成的生态圈，以及如何从中理解地球生态圈，并且让人类文明进一步发展的问题。主讲人地道的伦敦口音和哈利波特式的发型，结合讲述的内容让人耳目一新。
人工智能生态圈的报告首页
Drew Purves在演讲
波士顿动力的报告首页
另一个非常有意思的Invited Talk来自波士顿动力(Boston Dynamics)的创始人Marc Raibert。在这个Talk中，Marc Raibert展示了波士顿动力最新的一些产品，非常的炫酷。不多说了，直接上图。
波士顿动力的类人机器人
Marc Raibert还带了两个机器人（狗）到现场，引起了全场的轰动～（此处小编做了一个动图给大家，如果想看完整视频可以点击阅读原文）
不过略有一点遗憾的是，波士顿动力的机器人中并没有使用机器学习技术，机器人的行为（例如前进，开门，拿杯子等）是人类给他指令，然后机器按照预先设计的算法进行行动的。希望大热的人工智能早日应用到波士顿动力的机器人上！
在Symposium环节中，深度学习依然展现了其当前的火爆程度。三个Symposium有两个是与深度学习相关的，其中讲述RNN的Symposium由于人数太多临时与机器学习与法律Symposium交换了场地。
Hulu的研究员选择参加了深度学习Symposium，在Yoshua Bengio做了简短的remark之后，过于一年中深度学习领域最重要的进展在这个Symposium上做介绍，包括：
· Density estimation using Real NVP
· PixelCNN and WaveNet
· InfoGAN
· Deep Networks with Stochastic Depth
· Layer Normalization
· Seq2seq Learning as Beam-Search Optimization
· Learning Representation for counterfactual inference
· Guided cost learning: deep inverse optimal control via policy optimization
这里我们将题目都列在这里，感兴趣的同学们可以在网上找到相关的资料。
总结
今年的NIPS是有史以来最大规模的机器学习大会，学术界和工业界顶尖专家的云集充分体现了当前人工智能和机器学习的迅猛发展势头。2016年在机器学习和人工智能领域也是一个不平凡的一年，从年初的AlphaGo横空出世击败人类顶尖围棋选手李世石，引起公众对人工智能的极大关注，到以PixelRNN/CNN、WaveNet为代表的生成式模型已经可以直接产生一些有一些语义的图像和声音数据，预示着无监督模型的突破，再到以谷歌公司提出从Mobile-first到AI-First的转变，这些都体现出了科技和资本对于人工智能的强烈预期。
机器学习的快速发展还体现在ArXiv文章出现的速度上，有人发现有些文章在放在ArXiv上一周之后就会有人引用了，可见这一领域的发展是多么的迅猛！而这一切可能又预示着人工智能的即将进入一个新的阶段。希望明年在悉尼举办的ICML和在加州长岛举办的NIPS能给人们带来更多的惊喜。
Hulu公司一直高度重视人工智能和机器学习在Hulu的产品线中的发展。Hulu拥有优秀的研究员团队，致力于为用户提供更好的用户体验，其机器学习技术已经被广泛应用在推荐系统，广告系统，数据分析系统，计算机视觉技术，视频压缩技术等诸多方面，今年更是在ICML上有两篇文章被接收。
我们目前有一些关于深度学习方向和推荐系统方向的实习生岗位，在这里你能够使用一流的深度学习机器和了解深度学习领域最新的进展，并且可以将深度学习应用于工业系统中。欢迎有志于从事机器学习在工业界应用的同学们申请！可直接发送简历到[email protected]
如果你也热爱技术
请拥抱我
长按二维码关注