谷歌的Dropout专利于2019年6月25日正式生效了。
Dropout是什么？能干什么？
Dropout是一种预防过拟合的神经网络训练方法。通常神经网络的最后一层是全连接层，参数非常多，容易过拟合，只根据其中的某些显著的输入特征得到输出。为了避免这种情况，Dropout采用了每次随机丢弃一部分神经元的方式，迫使网络综合考虑所有的输入特征，从而缓解了过拟合的问题。
这个方法最早是2012-07-03发表在Improving neural networks by preventing co-adaptation of feature detectors (https://arxiv.org/abs/1207.0580v1，封面如下图），论文的第一作者和通讯作者是大名鼎鼎的Hinton，深度学习教父，2018年图领奖得主之一，多伦多大学教授，从2013年开始投入部分精力在Google Brain工作。
下面具体来看一下这篇专利：System and method for addressing overfitting in a neural network（https://patents.google.com/patent/US9406017B2/en），从专利的时间轴、内容和影响这三个维度来解析。
专利的时间轴
Application US14/015,768 events
2012-12-24
Priority to US201261745711P
2013-08-30
Application filed by Google LLC
2013-08-30
Priority to US14/015,768
2014-06-05
Assigned to DNNRESEARCH INC.
2014-06-05
Assigned to GOOGLE INC.
2014-06-05
Assigned to DNNRESEARCH INC.
2014-06-05
Assigned to GOOGLE INC.
2014-06-26
Publication of US20140180986A1
2016-08-02
Publication of US9406017B2
2016-08-02
Application granted
2017-10-05
Assigned to GOOGLE LLC
2019-06-28
Application status is Active
2034-09-03
Adjusted expiration
可以看出，专利的首次优先权授予时间是2012-12-24，晚于其论文发表时间2012-07-03. 在美国，这种时间顺序是OK的，在论文发表一年以内都可以针对论文的发明申请专利。但在欧洲，这是不行的，之前发表的论文破坏了专利的新颖性。也可能作者们发表后才发现这个方法引起了大家的广泛关注和使用，萌生了写专利的想法。
该技术发明者包括：Geoffrey E. Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva；而目前的专利权受让人（Current Assignee）是谷歌。
专利的内容
System and method for addressing overfitting in a neural network：一种防止神经网络过拟合的方法和系统。
一方面，提供了一个训练神经网络的系统，其大多数的神经网络特征检测器会连到一个开关上，这些开关会随机关闭特征检测器。
另一方面，提供了一个训练神经网络的方法。
也就是说，主要保护的是训练中用到的Dropout方法。
具体权要就不一条一条列了，主要思想就是上面这两条，只是补充完善各种case，加上各个外围条件。
专利的影响
看到网上有人说专利具有地域性，我们在中国没事，其实是有误解的。发明人很早就申请了PCT专利，对于中国这么大的市场，当然也会有所布局。因为，在国内，只要在训练神经网络过程中使用到了Dropout的技术，就是侵犯了这项专利。
该专利在世界范围内的申请：
2013: US AU BR WO
2016: US
2013:
Application number: US14/015,768
Filing date: 2013-08-30
Legal status: Active
Application number: AU2013370515A
Filing date: 2013-12-23
Legal status: Pending
Application number: BR112015015230A
Filing date: 2013-12-23
Legal status: Search and Examination
Application number: PCT/US2013/077608
Filing date: 2013-12-23
Legal status: Application Filing
2016:
Application number: US15/222,870
Filing date: 2016-07-28
Legal status: Pending
Application US14/015,768 events
写在最后：个人评论
这项专利带来的影响是毫无疑问的，因为Dropout技术是训练神经网络的基本技术，现在已经被广泛应用。如果Google公司追究起来，大家都会遇到麻烦。不过一个问题在于，这是属于实现性算法，举证较为困难。训练过程又是一个非常私密的过程，除非审查代码，否则无法确定是否侵权。所以从这个角度来说，又不用太过于害怕。
总之，要想立足，必须有自己的专利武器，这一块还要多学习，不断进步，真正自强。
联系我：
微信公众号：AI人工智能与大数据
