一、pytorch 簡介

• Pytorch是torch的python版本，是由Facebook開源的神經(jīng)網(wǎng)絡框架，專門針對 GPU 加速的深度神經(jīng)網(wǎng)絡（DNN）編程。Torch 是一個經(jīng)典的對多維矩陣數(shù)據(jù)進行操作的張量
  （tensor ）庫，在機器學習和其他數(shù)學密集型應用有廣泛應用。
• Pytorch的計算圖是動態(tài)的，可以根據(jù)計算需要實時改變計算圖。
• 由于Torch語言采用 Lua，導致在國內一直很小眾，并逐漸被支持 Python 的 Tensorflow 搶走用戶。作為經(jīng)典機器學習庫 Torch 的端口，PyTorch 為 Python 語言使用者提供了舒適的寫代碼選擇。

二、pytorch 優(yōu)勢

• 1.簡潔：
  PyTorch的設計追求最少的封裝，盡量避免重復造輪子。不像 TensorFlow 中充斥著session、graph、operation、name_scope、variable、tensor、layer等全新的概念，PyTorch 的設計遵循tensor→variable(autograd)→nn.Module 三個由低到高的抽象層次，分別代表高維數(shù)組（張量）、自動求導（變量）和神經(jīng)網(wǎng)絡（層/模塊），而且這三個抽象之間聯(lián)系緊密，可以同時進行修改和操作。
• 2.速度：
  PyTorch 的靈活性不以速度為代價，在許多評測中，PyTorch 的速度表現(xiàn)勝過 TensorFlow和Keras 等框架。
• 3.易用：
  PyTorch 是所有的框架中面向對象設計的最優(yōu)雅的一個。PyTorch的面向對象的接口設計來源于Torch，而Torch的接口設計以靈活易用而著稱，Keras作者最初就是受Torch的啟發(fā)才開發(fā)了Keras。
• 4.活躍的社區(qū)：
  PyTorch 提供了完整的文檔，循序漸進的指南，作者親自維護的論壇，供用戶交流和求教問題。Facebook 人工智能研究院對 PyTorch 提供了強力支持。

三、pytorch 常用工具包

1. torch ：類似 NumPy 的張量庫，支持GPU；
2. torch.autograd ：基于 type 的自動區(qū)別庫，支持 torch 之中的所有可區(qū)分張量運行；
3. torch.nn ：為最大化靈活性而設計，與 autograd 深度整合的神經(jīng)網(wǎng)絡庫；
4. torch.optim：與 torch.nn 一起使用的優(yōu)化包，包含 SGD、RMSProp、LBFGS、Adam 等標準優(yōu)化方式；
5. torch.multiprocessing： python 多進程并發(fā)，進程之間 torch Tensors 的內存共享；
6. torch.utils：數(shù)據(jù)載入器。具有訓練器和其他便利功能；
7. torch.legacy(.nn/.optim) ：出于向后兼容性考慮，從 Torch 移植來的 legacy 代碼；

四、pytorch 注意點

特別注意一個問題：
通道問題：不同視覺庫對于圖像讀取的方式不一樣，圖像通道也不一樣：
opencv 的 imread 默認順序時 H * W * C
pytorch的Tensor是 C * H * W
Tensorflow是兩者都支持

五、pytorch 理解

1. numpy風格的tensor操作
   • pytorch對tensor提供的API參照了numpy
2. 變量自動求導
   • 在計算過程形成的計算圖中，參與的變量可快速計算出自己對于目標函數(shù)的梯度
3. 神經(jīng)網(wǎng)絡求導及損失函數(shù)優(yōu)化等高層封裝
   • 網(wǎng)絡層封裝在torch.nn
   • 損失函數(shù)封裝在torch.functional
   • 優(yōu)化函數(shù)封裝在torch.optim

六、pytorch-Tensor

1. tensor 數(shù)據(jù)類型

tensor數(shù)據(jù)類型：3浮點（float16，float32，float64）5整數(shù)（int16，int32，int64，int8+uint8）

2. 創(chuàng)建 tensor 相關的 API

創(chuàng)建tensor的常見api

3. tensor 對象的 API

tensor 對象的方法

七、python 自動求導

tensor對象通過一系列運算組成動態(tài)圖，每個tensor對象都有以下幾個控制求導的屬性。

八、pytorch 神經(jīng)網(wǎng)絡

torch.nn提供了創(chuàng)建神經(jīng)網(wǎng)絡的基礎構件，這些層都繼承自Module類。下面是自己手動實現(xiàn)一個線性層（linear layer）。適當參考，以后直接調用現(xiàn)成的接口，這里稍微了解一下，無實際意義。 ????

import torch

class Linear(torch.nn.Module):
    def __init__(self, in_features, out_features, bias=True):
        super(Linear, self).__init__()
        # torch.randn() 返回一個符合均值為0，方差為1的正態(tài)分布
        self.weight = torch.nn.Parameter(torch.randn(out_features, in_features))
        if bias:
            self.bias = torch.nn.Parameter(torch.randn(out_features))

    def forward(self, x):
        # xW+b
        x = x.mm(self.weight)
        if self.bias:
            x = x + self.bias.expand_as(x)
        return x

if __name__ == '__main__':
    
    net = Linear(3,2)
    x = net.forward
    print('11',x)

下面表格中列出了比較重要的神經(jīng)網(wǎng)絡層組件。
對應的在nn.functional模塊中，提供這些層對應的函數(shù)實現(xiàn)。
通常對于可訓練參數(shù)的層使用module，而對于不需要訓練參數(shù)的層如softmax這些，可以使用functional中的函數(shù)。

一些容器：

容器代碼：

# 方法1 像
model1 = nn.Sequential()
model.add_module('fc1', nn.Linear(3,4))
model.add_module('fc2', nn.Linear(4,2))
model.add_module('output', nn.Softmax(2))

# 方法2
model2 = nn.Sequential(
          nn.Conv2d(1,20,5),
          nn.ReLU(),
          nn.Conv2d(20,64,5),
          nn.ReLU()
        )
# 方法3        
model3 = nn.ModuleList([nn.Linear(3,4), nn.ReLU(), nn.Linear(4,2)])

• torch.nn.Module提供了神經(jīng)網(wǎng)絡的基類，當實現(xiàn)神經(jīng)網(wǎng)絡時需要繼承自此模塊，并在初始化函數(shù)中創(chuàng)建網(wǎng)絡需要包含的層，并實現(xiàn)forward函數(shù)完成前向計算，網(wǎng)絡的反向計算會由自動求導機制處理。
• 通常將需要訓練的層寫在init函數(shù)中，將參數(shù)不需要訓練的層在forward方法里調用對應的函數(shù)來實現(xiàn)相應的層。

編碼三步走：

在pytorch中就只需要分三步：

1. 寫好網(wǎng)絡；
2. 編寫數(shù)據(jù)的標簽和路徑索引；
3. 把數(shù)據(jù)送到網(wǎng)絡。

到此這篇關于pytorch 簡介及常用工具包展示的文章就介紹到這了,更多相關pytorch 常用工具包內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論