Horovod是針對(duì)TensorFlow，Keras，PyTorch和Apache MXNet的分布式深度學(xué)習(xí)培訓(xùn)框架。Horovod的目標(biāo)是使分布式深度學(xué)習(xí)快速且易于使用。

Horovod由LF AI和數(shù)據(jù)基金會(huì)（LF AI＆Data）托管。如果您是一家致力于在人工智能，機(jī)器和深度學(xué)習(xí)中使用開(kāi)源技術(shù)的公司，并希望在這些領(lǐng)域中支持開(kāi)源項(xiàng)目的社區(qū)，請(qǐng)考慮加入LF AI和數(shù)據(jù)基金會(huì)。有關(guān)誰(shuí)參與以及Horovod如何扮演角色的詳細(xì)信息，請(qǐng)閱讀Linux Foundation公告。

安裝

要安裝Horovod：

1、安裝CMake

2、如果您已從PyPI安裝TensorFlow ，請(qǐng)確保已安裝g++-4.8.5或g++-4.9或更高版本。

如果您已從PyPI安裝了PyTorch ，請(qǐng)確保已安裝g++-4.9或更高版本。

如果您已經(jīng)從Conda安裝了任何一個(gè)軟件包，請(qǐng)確保gxx_linux-64已安裝Conda軟件包。

3、安裝horovodpip包。

要在CPU上運(yùn)行：

$ pip install horovod

要在具有NCCL的GPU上運(yùn)行：

$ HOROVOD_GPU_OPERATIONS = NCCL點(diǎn)安裝horovod

$ HOROVOD_GPU_OPERATIONS=NCCL pip install horovod

用法

要使用Horovod，請(qǐng)?jiān)诔绦蛑刑砑右韵聝?nèi)容：

1、運(yùn)行hvd.init()以初始化Horovod。

2、將每個(gè)GPU固定到一個(gè)進(jìn)程，以避免資源爭(zhēng)用。

通常每個(gè)進(jìn)程設(shè)置一個(gè)GPU，將其設(shè)置為local rank。服務(wù)器上的第一個(gè)進(jìn)程將被分配第一個(gè)GPU，第二個(gè)進(jìn)程將被分配第二個(gè)GPU，依此類(lèi)推。

3、通過(guò)工人人數(shù)來(lái)衡量學(xué)習(xí)率。

同步分布式培訓(xùn)中的有效批處理規(guī)模是根據(jù)工人人數(shù)來(lái)衡量的。學(xué)習(xí)率的提高彌補(bǔ)了批量大小的增加。

4、將優(yōu)化器包裝在中hvd.DistributedOptimizer。

分布式優(yōu)化器將梯度計(jì)算委托給原始優(yōu)化器，使用allreduce或allgather對(duì)梯度求平均，然后應(yīng)用這些平均梯度。

5、將等級(jí)0的初始變量狀態(tài)廣播到所有其他進(jìn)程。

當(dāng)使用隨機(jī)權(quán)重開(kāi)始訓(xùn)練或從檢查點(diǎn)恢復(fù)訓(xùn)練時(shí)，這是確保所有工人進(jìn)行一致初始化的必要步驟。

6、修改您的代碼以僅在工作程序0上保存檢查點(diǎn)，以防止其他工作程序破壞它們。

使用TensorFlow v1的示例（有關(guān)完整的培訓(xùn)示例，請(qǐng)參閱示例目錄）：

import tensorflow as tf

import horovod.tensorflow as hvd

# Initialize Horovod

hvd.init()

# Pin GPU to be used to process local rank (one GPU per process)

config = tf.ConfigProto()

config.gpu_options.visible_device_list = str(hvd.local_rank())

# Build model...

loss = ...

opt = tf.train.AdagradOptimizer(0.01 * hvd.size())

# Add Horovod Distributed Optimizer

opt = hvd.DistributedOptimizer(opt)

# Add hook to broadcast variables from rank 0 to all other processes during

# initialization.

hooks = [hvd.BroadcastGlobalVariablesHook(0)]

# Make training operation

train_op = opt.minimize(loss)

# Save checkpoints only on worker 0 to prevent other workers from corrupting them.

checkpoint_dir = '/tmp/train_logs' if hvd.rank() == 0 else None

# The MonitoredTrainingSession takes care of session initialization,

# restoring from a checkpoint, saving to a checkpoint, and closing when done

# or an error occurs.

with tf.train.MonitoredTrainingSession(checkpoint_dir=checkpoint_dir,

config=config,

hooks=hooks) as mon_sess:

while not mon_sess.should_stop():

# Perform synchronous training.

mon_sess.run(train_op)

運(yùn)行Horovod

下面的示例命令顯示了如何運(yùn)行分布式訓(xùn)練。有關(guān)更多詳細(xì)信息，請(qǐng)參見(jiàn)Run Horovod，包括RoCE / InfiniBand調(diào)整和處理掛起的技巧。

1、要在具有4個(gè)GPU的計(jì)算機(jī)上運(yùn)行：

$ horovodrun -np 4 -H localhost:4 python train.py

2、要在具有4個(gè)GPU的4臺(tái)計(jì)算機(jī)上運(yùn)行：

$ horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 python train.py

3、要在不使用horovodrun包裝的情況下使用Open MPI運(yùn)行，請(qǐng)參閱使用Open MPI運(yùn)行Horovod。

4、要在Docker中運(yùn)行，請(qǐng)參閱Docker中的Horovod。

5、要在Kubernetes中運(yùn)行，MPI運(yùn)算符，Helm Chart，F(xiàn)fDL和Polyaxon。

6、要在Spark上運(yùn)行。

7、要在Ray上運(yùn)行。

8、在Singularity運(yùn)行

9、要在LSF HPC集群（例如Summit）中運(yùn)行