OrionX（猎户座）AI加速器资源池化软件赋能深度学习分布式训练

分布式训练"/>

OrionX（猎户座）AI加速器资源池化软件赋能深度学习分布式训练

目录

什么是分布式训练

为什么要分布式训练

如何做分布式训练

OrionX 如何支持分布式训练

什么是分布式训练

对于机器学习/深度学习中的模型训练任务来说，算力的需求与日俱增。分布式训练采用多个计算节点，利用分布式编程的技术实现远超于单机的计算算力。

在回答这个问题之前，咱们先看一下深度学习模型常见的训练方式：

1、单机单卡训练，单GPU方式，这种训练方式常见于个人开发者自己的笔记本/工作站上，或者计算量需求相对较小的训练任务上。

2、单机多卡训练，仍然是以单机形式，常见于单台企业级服务器里面配置多张GPU卡并行训练。比如我们在一台机器上安装8张GPU卡，都跑一次BP算法计算出梯度，把所有GPU上计算出梯度进行平均，然后更新参数。这样的话，以前一次BP只能喂1个batch的数据，现在就是8个batch。理论上来说，速度提升了8倍（除去GPU通信的时间等等）。这也是分布式训练提升速度的基本原理。

3、多机多卡训练，对于上述两种单机训练来说，随着数据集的增加以及模型参数量的提升，单机模型训练始终会陷入算力瓶颈。所以对于模型训练，不少企业开始尝试多机多卡分布式训练。相对于上述两种训练方式，多机多卡训练顾名思义就是使用很多台机器，每台机器上都有多张GPU卡，模型跑在所有机器的GPU上以加快训练速度。

因此，我们总结出分布式训练的基本定义：对于机器学习/深度学习中的模型训练任务，采用多个计算节点，利用分布式编程的技术实现远超于单机的计算算力。

目前深度学习主流框架全支持分布式训练，甚至有专门为分布式训练打造的框架。目前深度