accelerate的簡介

       Accelerate 是一個為 PyTorch 用戶設計的庫，旨在幫助簡化分布式訓練和混合精度訓練的過程。它提供了一種簡單且靈活的方式來加速和擴展您的 PyTorch 訓練腳本，而無需編寫冗長的樣板代碼。使用戶能夠更輕松地利用大規(guī)模計算資源并加速模型訓練過程。
       2023年2月，Huggingface發(fā)布了Accelerate庫，它可以在任何類型的設備上運行你的原始PyTorch訓練腳本。accelerate的易于集成的特點如下所示：
>> Accelerate是為PyTorch用戶設計的，它們喜歡編寫PyTorch模型的訓練循環(huán)，但不愿意編寫和維護使用多GPU/TPU/fp16所需的樣板代碼。
>> Accelerate僅抽象與多GPU/TPU/fp16相關的樣板代碼，并保持其余代碼不變。

       當您希望在分布式環(huán)境中輕松運行您的訓練腳本而又不希望放棄對訓練循環(huán)的完全控制時，您應該使用Accelerate。這不是一個在PyTorch之上的高級框架，只是一個薄包裝，因此您不必學習一個新的庫。事實上，Accelerate的整個API只有一個類，即Accelerator對象。
       但是，如果您不想自己編寫訓練循環(huán)，那么您就不應該使用Accelerate。有很多在PyTorch之上的高級庫可以提供這個功能，但Accelerate不是其中之一。

GitHub：
GitHub - huggingface/accelerate: ?? A simple way to train and use PyTorch models with multi-GPU, TPU, mixed-precision

1、Accelerate 提供的主要功能和優(yōu)勢：

分布式訓練支持： Accelerate 可以幫助您在單個節(jié)點或多個節(jié)點上進行分布式訓練，包括多CPU、多GPU和TPU設置。它抽象出了與分布式訓練相關的樣板代碼，使您可以專注于訓練邏輯而不必擔心通信和同步問題。

混合精度訓練支持： Accelerate 提供了與混合精度訓練（如半精度浮點數(shù)）相關的工具和優(yōu)化。通過使用混合精度訓練，您可以在幾乎不降低模型性能的同時減少內(nèi)存使用和計算成本。

設備放置和管理： Accelerate 可以自動處理設備放置，將數(shù)據(jù)和模型移動到正確的設備上，以便充分利用可用的計算資源。這簡化了跨設備進行訓練的過程，并幫助您避免手動管理設備分配的復雜性。

高度集成： Accelerate 可與 PyTorch 生態(tài)系統(tǒng)中的其他工具和庫無縫集成。它與常用的 PyTorch 數(shù)據(jù)加載器和優(yōu)化器兼容，并且可以與諸如 DeepSpeed、Megatron-LM 和 PyTorch Fully Sharded Data Parallel (FSDP) 等擴展一起使用。

可配置的 CLI 工具： Accelerate 還提供了一個命令行界面 (CLI) 工具，使您能夠方便地配置和測試訓練環(huán)境，而無需手動編寫啟動腳本。

2、構建在Accelerate之上的框架和庫

如果您喜歡Accelerate的簡潔性，但希望在其功能上建立一個更高級的抽象層，一些構建在Accelerate之上的框架和庫列在下面：

accelerate的安裝

1、安裝

本存儲庫在Python 3.8+和PyTorch 1.10.0+上進行了測試，建議在虛擬環(huán)境中安裝Accelerate

首先，使用您要使用的Python版本創(chuàng)建一個虛擬環(huán)境并激活它。

然后，您將需要安裝PyTorch：請參閱官方安裝頁面以了解適用于您平臺的特定安裝命令。然后，可以使用pip安裝Accelerate，如下所示：

pip install accelerate

(1)、支持的集成

僅CPU
單個節(jié)點（機器上的多CPU）
多個節(jié)點（機器上的多CPU）
單個GPU
單個節(jié)點上的多GPU（機器上的多GPU）
多個節(jié)點上的多GPU（機器上的多GPU）
TPU
FP16/BFloat16混合精度
具有Transformer Engine的FP8混合精度
DeepSpeed支持（實驗性）
PyTorch Fully Sharded（實驗性）

2、啟動腳本

>> Accelerate還提供了一個可選的命令行工具，允許您在啟動腳本之前快速配置和測試您的訓練環(huán)境。無需記住如何使用torch.distributed.run或編寫特定的TPU訓練啟動器！在您的機器上只需運行：

accelerate config

然后回答所提出的問題。這將生成一個配置文件，將在執(zhí)行以下命令時自動使用以正確設置默認選項：

accelerate launch my_script.py --args_to_my_script

例如，以下是如何在MRPC任務上運行GLUE示例（從repo的根目錄）：

accelerate launch examples/nlp_example.py

此CLI工具是可選的，您仍然可以根據(jù)需要使用python my_script.py或python -m torchrun my_script.py。

3、使用MPI啟動多CPU運行

這是另一種使用MPI啟動多CPU運行的方法。您可以在此頁面上了解如何安裝Open MPI。您也可以使用Intel MPI或MVAPICH。一旦在您的集群上設置了MPI，只需運行：

mpirun -np 2 python examples/nlp_example.py

4、使用DeepSpeed啟動訓練

Accelerate支持使用DeepSpeed在單個/多個GPU上進行訓練。要使用它，您不需要更改訓練代碼中的任何內(nèi)容；您可以使用accelerate config來設置所有內(nèi)容。但是，如果您希望從Python腳本中調(diào)整DeepSpeed相關參數(shù)，我們?yōu)槟峁┝薉eepSpeedPlugin。

from accelerate import Accelerator, DeepSpeedPlugin
# deepspeed需要預先知道梯度累積步數(shù)，所以不要忘記傳遞它。請記住，您仍然需要自己進行梯度累積，就像您在沒有使用deepspeed時所做的那樣
deepspeed_plugin = DeepSpeedPlugin(zero_stage=2, gradient_accumulation_steps=2)
accelerator = Accelerator(mixed_precision='fp16', deepspeed_plugin=deepspeed_plugin)
# 如何保存您的Transformer？
accelerator.wait_for_everyone()
unwrapped_model = accelerator.unwrap_model(model)
unwrapped_model.save_pretrained(save_dir, save_function=accelerator.save, state_dict=accelerator.get_state_dict(model))

注意：目前DeepSpeed支持處于實驗階段。如果遇到問題，請?zhí)岢鰡栴}。

5、從notebook啟動訓練

Accelerate還提供了一個notebook_launcher函數(shù)，您可以在筆記本中使用它來啟動分布式訓練。這對于具有TPU后端的Colab或Kaggle筆記本特別有用。只需在一個訓練功能中定義您的訓練循環(huán)，然后在您的最后一個單元格中添加：

from accelerate import notebook_launcher
notebook_launcher(training_function)

您可以在此notebook中找到一個示例。在Colab中打開

地址：
notebooks/examples/accelerate_examples/simple_nlp_example.ipynb at main · huggingface/notebooks · GitHub

accelerate的使用方法

1、基礎用法

(1)、可以在任何類型的單節(jié)點或分布式節(jié)點設置：向任何標準的PyTorch訓練腳本添加5行代碼

如您在這個例子中所見，通過向任何標準的PyTorch訓練腳本添加5行代碼，您現(xiàn)在可以在任何類型的單節(jié)點或分布式節(jié)點設置（單CPU，單GPU，多GPU和TPU），以及帶或不帶混合精度（fp16）下運行。

  import torch
  import torch.nn.functional as F
  from datasets import load_dataset
+ from accelerate import Accelerator
+ accelerator = Accelerator()
- device = 'cpu'
+ device = accelerator.device
  model = torch.nn.Transformer().to(device)
  optimizer = torch.optim.Adam(model.parameters())
  dataset = load_dataset('my_dataset')
  data = torch.utils.data.DataLoader(dataset, shuffle=True)
+ model, optimizer, data = accelerator.prepare(model, optimizer, data)
  model.train()
  for epoch in range(10):
      for source, targets in data:
          source = source.to(device)
          targets = targets.to(device)
          optimizer.zero_grad()
          output = model(source)
          loss = F.cross_entropy(output, targets)
-         loss.backward()
+         accelerator.backward(loss)
          optimizer.step()

特別地，相同的代碼可以在本地機器上進行調(diào)試，也可以在您的訓練環(huán)境中運行，而無需修改。

(2)、處理設備放置

Accelerate甚至為您處理設備放置（這需要對您的代碼進行一些更改，但通常更安全），因此您甚至可以進一步簡化訓練循環(huán)：

  import torch
  import torch.nn.functional as F
  from datasets import load_dataset
+ from accelerate import Accelerator
- device = 'cpu'
+ accelerator = Accelerator()
- model = torch.nn.Transformer().to(device)
+ model = torch.nn.Transformer()
  optimizer = torch.optim.Adam(model.parameters())
  dataset = load_dataset('my_dataset')
  data = torch.utils.data.DataLoader(dataset, shuffle=True)
+ model, optimizer, data = accelerator.prepare(model, optimizer, data)
  model.train()
  for epoch in range(10):
      for source, targets in data:
-         source = source.to(device)
-         targets = targets.to(device)
          optimizer.zero_grad()
          output = model(source)
          loss = F.cross_entropy(output, targets)
-         loss.backward()
+         accelerator.backward(loss)
          optimizer.step()

最新評論