2016 ICLR 大会精华回顾：塑造人工智能未来的研究
深度学习，你往何处去？
神经网络压缩将会成为一个大话题——因为现实应用要求我们这么做。算法研究人员可不会等到 TPU 和 VPU 成为主流的时候才这么做。能够解读图像的深度网络，将存在于每一个内置照相机的设备中。事实上，到 2020 年我看不出照相机不能够生成高质量的 RGB 图片和神经网络向量。新的图片格式甚至会有类似于「深度分析向量」与图片同时保存。而这一定会成为一个神经网络，不论以什么结构。
应用角度，传统机器学习转变为深度学习
1）视觉识别
以前的做法是做特征工程，然后在最后面、最顶层用了一点点机器学习（比如SVM）。后来，我们（在卷积网络架构家族中）开发出了新的识别原理，找到了强大得多的图像分析程序；近期我们也已经开始探索更多的网络架构。
2）语音识别
以前需要很多的预处理、高斯混合模型以及隐马尔可夫模型，但今天几乎全都是由神经网络搞定的。
3）语音生成
历史上人们用过各种各样的音素拼接方式，而现在的顶级模型都是大规模卷积神经网络（比如WaveNet），它们可以直接生成原始的音频信号输出。
4）机器翻译
以往的通常做法是用一些基于短语的统计学技巧，但神经网络的方法很快就成为了主流。我自己最喜欢的架构是在多语言设置下训练的，不仅单独一个模型就可以从任意源语言翻译到任意目标语言，而且还可以是弱监督（甚至完全无监督）的。
5）机器人
这个领域的传统一直是把问题分解为感知、位姿预测、规划、控制、不确定建模等等模块，在中间层表征之上运用显式表征和算法。虽然完全离解决问题还有相当的距离，但UC伯克利和谷歌的研究人员都通过种种证据表明软件2.0可能会在表征所有这些代码上发挥出好得多的作用。
6）游戏
下围棋的程序已经存在了很久了，但是AlphaGo Zero（能够直接观察棋盘状态并下出一步棋的卷积神经网络）已经成为了目前最强的围棋棋手。我预计我们还能在其它领域看到非常类似的结果，比如DOTA2或者星际争霸。
2016年AI大事件
1）3月9-15日，棋坛新秀AlphaGo一战成名；
2）深度增强学习DQN提出；
3）Google在今年5月18日Google I/O大会上宣布了加速机器学习的定制ASIC方案：张量处理单元（TPU）。
4）自动驾驶方面：
10月20日，马斯克宣布所有特斯拉（Tesla）新车将装备具有全自动驾驶功能的硬件系统——Autopilot 2.0；
在11月16日开幕的第三届世界互联网大会上，百度无人车再次亮相。百度无人车，大会期间，18辆百度无人车在桐乡市子夜路智能汽车和智慧交通示范区内首次进行开放城市道路运营。"
5）显卡：9月13日，NVIDIA在GTC中国北京站发布了Tesla P4和P40，全新的Pascal架构。TensorRT是一个提供更快响应时间的神经网络预测引擎，适合深度学习应用产品上线部署。
6）一年前，Google就将TensorFlow完全开源。半年前，Google发布了专门加速TensorFlow的硬件TPU。
7）Facebook于11月8日宣布将深度学习系统Caffe2Go开源，可以完全运行在智能手机上，目的是让开发者更容易接触到人工智能。
总之，2016年是“智能驾驶元年”、“人工智能硬件元年”、“增强学习元年”、“嵌入式人工智能元年”。