1.关于训练神经网络
1.1训练神经网络是深度学习中最难的部分
先创建数学模型。需要一个超级大数据集，例如大量机场和出发日期的组合
；需要量的计算能力。
1.2训练过程
·遍历整个数据集
·创建一个代价函数（Cost function）
·展示模型输出与实际之间的误差
·迭代修改模型参数使代价函数的结果为零
·输出与真实数据集输出相同
注：如何降低代价函数（Cost Function）
随机改变神经元之间的权重并不是很有效；运用Gradient Descent技术帮助找到代价函数最小值。原理是在每次数据集迭代后以最小增量的方式改变权重。通过计算代价函数在某一组权重下的导数或梯度，能够看出最小值得方向。这需要多次遍历数据集。
2.深度学习小结
（1）深度学习使用神经网络来模仿人类的智力；
（2）神经网络中有三种类型的神经元层：输入层、隐藏层和输出层；
（3）神经元之间的连接与权重有关，决定了输入值得重要性；
（4）神经元对数据使用激活函数来“标准化”来自神经元的输出；
（5）要训练神经网络，需要一个大型数据集；
（6）迭代数据集并比较输出将产生代价函数，表示AI实际输出与数据集输出的差异大小。
3.深度学习算法概览
3.1监督学习
（1）使用具有输入和预期输出的标记数据集（labelled data set）来执行机器学习任务
（2）整个过程在数据集上迭代完成，直到结果与预期一致为止
（3）例子：回归、决策树、随机森林、K-近邻算法、逻辑回归等
（4）应用：天气预报
·输入：压力、温度、风速等历史数据
·预期输出：未来的温度等
注记：监督学习包括卷积神经网络（Convolution neural network,CNN）和递归神经网络（Recurrent Neural Networks，RNN）。卷积神经网络常用来：
·处理多维数组数据，比如图像数据；
·文档阅读、文字识别系统以及手写体识别系统；
·人脸识别和自动驾驶汽车中的实时视觉系统。
而递归神经网络自然语言处理领域应用较多。
3.2无监督学习
（1）使用没指定结构的数据集来执行机器学习任务
（2）学习过程对数据进行逻辑分类
（3）例子：关联算法和K-均值算法
（4）应用：电商网站用来分析用户的网站行为
·输入：用户的网站数据
·输出：哪种用户最有可能购买不同的产品
3.3强化学习
（1）监督学习和无监督学习的结合，这个算法通过反复是试错来训练机器进行决策
（2）例子：马尔科夫决策过程
（3）应用：机器人导航、逻辑游戏如扑克等
4.深度学习的缺陷
（1）需要大量数据，例如总需要数百万的样本（data hungry）
（2）需要大量计算资源来训练以及部署深度学习系统
（3）模型表征不确定性的能力极差
（4）易受对抗样本的影响
（5）过于繁琐的优化
（6）深度学习是难以解释的黑箱，缺乏透明度
5.深度学习的进展
5.1迁移学习
（1）批量生产“小而美”的AI公司
（2）让机器学会举一反三
（3）实现不同场景AI模型再利用
5.2“不完美信息”博弈
（1）2017年1月30日，机器人Libratus（冷扑）战胜四个全球顶级德州扑克玩家
（2） 通过纳什均衡来计算该如何应对对手那些没出现在决策树上的招数，并以收益反馈对自身的出招进行动态修正，以期达到最大的收益
5.3胶囊网络（Capsule network）——让人工神经网络像人脑那样思考
（1）将神经元分组成一个一个小胶囊，每一个决策点并不需要每个人工神经元都做出判断，而是只要检查这个胶囊是否同意，然后将结果输入下一层合适的胶囊中。
（2）会大大减少训练计算机所需要的数量
（3）已经成功地被用于检测癌症
6.深度学习的未来展望
（1）无监督学习在长期内越来越重要。通过观察能够发现世界的内在结构，而不是 被告知每一个客观事物的名称。
（2）机器视觉方面会有更多的进步。结合ConvNets和RNNs，采用强化学习来决定走向，以及学习操作视频游戏。
（3）自然语言处理将是深度学习做出巨大影响的另一个领域。RNNs的系统将会更好地理解句子或者整个文档。
（4）让机器更像人类思考的算法和让机器学习更快速更可靠。使机器实现自动推理、预测更远更精准和能够理解人；能够观看和收听影像；让机器具有人的能力，在人不想做的领域都能够超过人。
7.深度学习技术的应用实施
7.1可用的大数据——深度学习的“高效燃料”
7.2能用算法（数学模型）
·支撑算法的关键技术是学习算法框架，它由上直接与中间层及运用层对接交互，往下直接与计算设备交互
7.3够用的运算能力
·计算机处理器的飞速发展，特别是图像处理器（GPU）超强的浮点运算功能
·云计算的发展使机器学习运算能大规模地在公有云端
7.4小企业无力弯道超车人工智能领域
·数据缺失，大数据成本居高不下
·算力有限
以上内容根据美国Akiri Inc 首席架构师汤澄博士2018年9月11日在云南大学软件学院所做的报告整理而成。