快捷導(dǎo)航

淺析PyTorch中nn.Linear的使用

更新時間：2019年08月18日 15:32:46 作者：Steven·簡談

這篇文章主要介紹了淺析PyTorch中nn.Linear的使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

查看源碼

Linear 的初始化部分：

class Linear(Module):
 ...
 __constants__ = ['bias']
 
 def __init__(self, in_features, out_features, bias=True):
   super(Linear, self).__init__()
   self.in_features = in_features
   self.out_features = out_features
   self.weight = Parameter(torch.Tensor(out_features, in_features))
   if bias:
     self.bias = Parameter(torch.Tensor(out_features))
   else:
     self.register_parameter('bias', None)
   self.reset_parameters()
 ...

需要實現(xiàn)的內(nèi)容：

計算步驟：

@weak_script_method
  def forward(self, input):
    return F.linear(input, self.weight, self.bias)

返回的是：input * weight + bias

對于 weight

weight: the learnable weights of the module of shape
  :math:`(\text{out\_features}, \text{in\_features})`. The values are
  initialized from :math:`\mathcal{U}(-\sqrt{k}, \sqrt{k})`, where
  :math:`k = \frac{1}{\text{in\_features}}`

對于 bias

bias:  the learnable bias of the module of shape :math:`(\text{out\_features})`.
    If :attr:`bias` is ``True``, the values are initialized from
    :math:`\mathcal{U}(-\sqrt{k}, \sqrt{k})` where
    :math:`k = \frac{1}{\text{in\_features}}`

實例展示

舉個例子：

>>> import torch
>>> nn1 = torch.nn.Linear(100, 50)
>>> input1 = torch.randn(140, 100)
>>> output1 = nn1(input1)
>>> output1.size()
torch.Size([140, 50])

張量的大小由 140 x 100 變成了 140 x 50

執(zhí)行的操作是：

[140,100]×[100,50]=[140,50]

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Django如何實現(xiàn)RBAC權(quán)限管理
這篇文章主要介紹了Django如何實現(xiàn)RBAC權(quán)限管理問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-12-12
請不要重復(fù)犯我在學(xué)習(xí)Python和Linux系統(tǒng)上的錯誤
本人已經(jīng)在運(yùn)維行業(yè)工作了將近十年，我最早接觸Linux是在大二的樣子，那時候只追求易懂，所以就選擇了Ubuntu作為學(xué)習(xí)、使用的對象，它簡單、易用、好操作、界面絢麗，對于想接觸Linux的新手來說是非常不錯的
2016-12-12
Python字典常見操作實例小結(jié)【定義、添加、刪除、遍歷】
這篇文章主要介紹了Python字典常見操作,結(jié)合實例形式總結(jié)分析了Python字典的定義、添加、刪除、遍歷等常見使用技巧與操作注意事項,需要的朋友可以參考下
2019-10-10
Python中 pickle 模塊的 dump() 和 load()&
Python 的 pickle 模塊用于實現(xiàn)二進(jìn)制序列化和反序列化，一個對象可以被序列化到文件中，然后可以從文件中恢復(fù)，這篇文章主要介紹了Python中 pickle 模塊的 dump() 和 load() 方法詳解,需要的朋友可以參考下
2022-12-12
python網(wǎng)絡(luò)編程socket實現(xiàn)服務(wù)端、客戶端操作詳解
這篇文章主要介紹了python網(wǎng)絡(luò)編程socket實現(xiàn)服務(wù)端、客戶端操作,結(jié)合實例形式分析了python基于socket實現(xiàn)服務(wù)端、客戶端相關(guān)操作技巧與使用注意事項,需要的朋友可以參考下
2020-03-03
django redis的使用方法詳解
本文主要介紹了django redis的使用方法詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-04-04
詳解Ubuntu16.04安裝Python3.7及其pip3并切換為默認(rèn)版本
這篇文章主要介紹了詳解Ubuntu16.04安裝Python3.7及其pip3并切換為默認(rèn)版本，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2019-02-02
Python之多進(jìn)程與多線程的使用
這篇文章主要介紹了Python之多進(jìn)程與多線程的使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-02-02
如何在Windows下載、安裝Python和配置環(huán)境(新手、保姆級教程)
本文詳細(xì)介紹了如何在Windows系統(tǒng)上下載、安裝Python以及配置環(huán)境變量,通過步驟說明,即使是新手也能順利完成Python的安裝,并驗證其是否成功,感興趣的朋友跟隨小編一起看看吧
2024-11-11
Python使用MD5加密字符串示例
這篇文章主要介紹了Python使用MD5加密字符串示例,對一些可能出現(xiàn)的錯誤點上本文也給出提醒,需要的朋友可以參考下
2014-08-08