版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_41063476/article/details/89307841
最近对统计学和机器学习感兴趣的许多问题可以在凸优化的框架中提出。由于现代数据集的大小和复杂性的爆炸性增长，能够通过大量功能，训练示例或两者来解决问题变得越来越重要。结果，这些数据集的分散收集或存储以及伴随的分布式解决方案方案都是必要的或者至少是非常需要的。在本文中，我们认为乘法器的 交替方向法非常适合分布式凸优化，尤其适用于统计，机器学习和相关领域中出现的大规模问题。该方法是在20世纪70年代发展起来的，其根源在20世纪50年代，与许多其他算法等效或密切相关，如双重分解，乘数法，Douglas-Rachford分裂，Spingarn的部分逆的方法，Dykstra的交替投影， Bregman迭代算法 ell_1问题，近端方法等。在简要地研究了算法的理论和历史之后，我们讨论了最近感兴趣的各种统计和机器学习问题的应用，包括套索，稀疏逻辑回归，基础追踪，协方差选择，支持向量机等等。我们还讨论了一般分布式优化，非凸设置的扩展和高效实现，包括有关分布式MPI和Hadoop MapReduce实现的一些细节。
实现代码：http://stanford.edu/~boyd/papers/admm/
video: http://videolectures.net/nipsworkshops2011_boyd_multipliers/