HiPS SIGCOMM workshop 2018
Hierarchical Parameter Synchronization for DML
核心思想
设计了一种新的分布式机器学习(DML)参数同步算法。最大意义在于说明了拓扑对参数同步算法提供了优化空间。
Background and Motivation
已有的参数同步算法:
PS-based synchronization (PS). 集中式, 较为常用(Tensorflow, Caffe, MXNet等). 两种角色: 参数服务器(Paremeter serv...