对于一个10年IT工作的菜鸟来说，奔4了，语言表达不够，商务能力不行；唯一爱好是和机器打交道，不停的接受新技术，新知识，才能不被行业淘汰，不被公司淘汰。每每想到此处，唯有一声长叹。
进来人工智能，机器学习，深度学习，阿尔法狗，阿尔法元概念大火。本着为公司创造一个新的收入IDEA情况下，研究了下神经网络。下面记录下从头开始过程：
首先当然是度娘，了解下这东西是撒，能做撒，需要准备撒，前期肯定是模糊的，大致知道这东西 就是通过大量的数据，学习到其中的规律，抽象出来。给出一个公式，依靠公式，再有新的输入数据，可以给出推导结果。到这里 就明白 首先要三个知识储备了，大量数据-》统计学；抽象数学公式-》高等数学；还有这个实现过程，现在是电脑时代，当然用机器实现，所以是-》代码。代码上那个语言有优势，这个不清楚，进来一直在用PYTHON，而且度娘说 这东西最适合机器学习。那就用上吧。既然知道这三个，那就准备起来，书还是要看的。我从来没学过统计学，所以这个开头有点费力。高等数学虽然大学成绩也不错，那也是10年前的事了。所以我的思路就是 先进行初期学习，并没有更深入的做知识准备，到用到公式和知识的时候再回来 学习。这样的好处 就是学起来快，这样的不好 就是知识片面性，如果遇到新的知识点 又要重新再看下。
接下来就是寻找下这东西的入门教材，然后就找到了斯坦福大学的吴恩达机器学习视频，这个我看了前面部分，没有看完，还是数学和统计学知识问题，一个视频 需要看一个星期，一边看，一边学习那些公式和名词。还好一个月以后 我发现吴恩达老师又在网易云课堂上 开设了深度学习课程。这下才算正式的入门了。
新的这个视频 确实容易理解多了，神经网络学习，原始数据输入X-》通过激励函数计算出预测结果A-》计算损失函数(实际结果Y-我们预测出的结果A)-》通过损失函数结算出激励函数中的参数变化-》采用新的激励函数计算，这是一个循环过程，不停的迭代更新激励函数中的参数值，找到最佳拟合的参数。到这里 基本就已经领会神经网络学习是怎么流程了，整体的逻辑就出来了。
架构已经知道了，下一步 就是要进行优化和规避其中的风险，
优化：
1、由于输入的数据都是海量级，所以这里可以通过数据向量化进行计算，向量化的计算比直接进行循环迭代要快很多，原因是目前计算机的硬件架构决定的（SIMD命令）。
2、输入的数据差异很大，所以这对参数影响也很大，所以在激励函数前，也需要对输入的数据进行归一化处理，这也在进行参数迭代梯度下降时比较好，具体思路是将原来的狭长数据，转换为碗性数据。
3、参数迭代的梯度下降，我们也要控制速度，一般现在使用的激励函数，sigmoid或者tanh 参数过大容易产生梯度崩塌和梯度过缓情况，这个果断时间再写，
今天主要是对近期的学习做下记录，年级大了，记不住事