（1）深度学习以某种方式互联的神经元为基础，构建多层次的深度网络来模拟人工智能。
（2）深度神经网络主要包括三个层次的神经元：输入层、隐藏层和输出层。神经元之间的连接对应一个权重，该权重的大小决定了各个输入数据的重要程度，这也是网络训练的难点。
（3）神经元中用激活函数进行神经元输出的标准化工作，用海量的数据集来训练深度神经网络，通过数据集上的标签与网络迭代输出结果相比较，得到可以用来衡量网络输出结果与真实结果差异程度的损失函数。
（4）每次迭代数据集之后，利用梯度下降法训练调整神经元之间的权重，来减少损失函数，最终获得一个训练好的深度神经网络。
（5）矩阵的行列式是一个数值
（6）梯度方向是函数变化率最大的方向；负梯度方向是函数下降最快的方向。
（7）概率是事件发生频率的稳定极限。
（8）机器学习的本质是找到一个合适的函数来反映输入和输出的映射关系，使机器具有智能。
（9）监督学习和无监督学习的区别在于训练样本数据是否具有标签。
（10）KL散度不满足对称性，因此不能作为一个度量。
（11）已证明足够多隐藏层的神经网络能以任意精度逼近任意连续函数。
（12）一般的最优化问题由三要素构成，目标函数、方案模型、约束条件。
（13）多目标优化算法得到的非劣解集合为近似Pareto最优解集，相应的目标函数值的集合为近似Pareto最优前端，只能通过序关系来比较解的优劣。
（14）群智能优化算法可以通过不断的参数调整来逐渐逼近全局最优解。