机器学习算法特点：迭代运算
损失函数最小化训练过程中，在巨大参数空间中迭代寻找最优解
比如：主题模型、回归、矩阵分解、SVM、深度学习
分布式机器学习的挑战：
- 网络通信效率
- 不同节点执行速度不同：加快慢任务
- 容错性
机器学习简介：
数据并行vs模型并行：
数据并行
模型并行
分布式机器学习范型：
其他情形
MPI：容错性差、集群规模小、扩展性低
GPU：目前处理规模中等（6-10GB）
1. 同步范型（严格情形每轮迭代进行数据同步）
快等慢，计算资源浪费；网络通信多
eg：MapReduce迭代计算、BSP模型属于严格同步范型
2. 异步范型（任意时刻读取更新全局参数）
若部分任务迭代严重落后会拉低效果
3. 部分同步范型（主要研究方向）
eg：SSP模型
MapReduce迭代计算模型
BSP（Bulk Synchronous Parallel）计算模型
“桥接模型”：介于纯硬件、纯编程模式之间的模型
许多相关工作已验证BSP模型的健壮性、性能可预测性和可扩展性
优点：
缺点：
资源利用率低、网络通信多、计算效率低
图计算框架也用BSP：比如Pregel、Giraph
SSP（Stale Synchronous Parallel）计算模型
阈值s=0时，SSP退化为BSP同步模型；s=+inf时，SSP演化为完全异步模型
分布式机器学习架构：
MapReduce系列架构：
Cloudera Oryx、Apache Mahout，两者类似。
Spark及MLBase：
Spark
2. MLBase
参数服务器（Parameter Server）：
比如：Google能处理百亿参数的深度机器学习框架DistBelief
1. 架构
2. 一致性模型
需要设计新型的参数副本一致性均衡正确性和并发度。往往通过受限的异步并行方式（类似于部分同步并行）
1）时钟界异步并行（Clock-bounded Asynchronous Parallel，CAP）
2）值界异步并行（Value-bounded Asynchronous Parallel，VAP）
不考虑时钟值而是参数的更新积累数值。
也可以集成CAP和VAP。有理论可以证明：对于随机梯度下降等常见机器学习算法，VAP可以保证算法收敛性。
3. SSPTable
