import torch
x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], requires_grad=True)
print(x)

import torch
x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], requires_grad=True)
print(x.shape) # 獲取張量的形狀，返回一個(gè)torch.Size對(duì)象
print(x.dtype) # 獲取張量的數(shù)據(jù)類型，返回一個(gè)torch.dtype對(duì)象
print(x.device) # 獲取張量所在的設(shè)備，返回一個(gè)torch.device對(duì)象

import torch
x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], requires_grad=True)
print(x.size()) # 獲取張量的形狀，與shape屬性等價(jià)，返回一個(gè)torch.Size對(duì)象
print(x.data_ptr()) # 獲取張量在內(nèi)存中的起始地址（整數(shù)）
print(x.numel()) # 獲取張量中元素的個(gè)數(shù)（整數(shù)）
print(x.dim()) # 獲取張量的維度（整數(shù)）
print(x.view(3, 2)) # 改變張量的形狀，返回一個(gè)新的視圖（不改變?cè)紨?shù)據(jù)），要求元素個(gè)數(shù)不變
print(x.reshape(3, -1)) # 改變張量的形狀，返回一個(gè)新的視圖（不改變?cè)紨?shù)據(jù)），-1表示自動(dòng)推斷該維度大小
print(x.squeeze()) # 去除所有大小為1 的維度，并返回一個(gè)新視圖（不改變?cè)紨?shù)據(jù)）
print(x.unsqueeze(1)) # 在指定位置插入一個(gè)大小為1 的維度，并返回一個(gè)新視圖（不改變?cè)紨?shù)據(jù)）

import torch
x = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
y = torch.tensor([[5.0, 6.0], [7.0, 8.0]])
z = torch.add(x, y) # 等價(jià)于z = x + y 或者 z = x.add(y)
print(z)
w = torch.sub(x, y) # 等價(jià)于w = x - y 或者 w = x.sub(y)
print(w)
v = torch.mul(x, y) # 等價(jià)于v = x * y 或者 v = x.mul(y)，注意這是逐元素相乘
print(v)
u = torch.div(x, y) # 等價(jià)于u = x / y 或者 u = x.div(y)，注意這是逐元素相除
print(u)
t = torch.dot(x.view(-1), y.view(-1)) # 計(jì)算x和y的點(diǎn)積，注意要先將它們展平為一維向量
print(t)
s = torch.cross(x.view(2,-1), y.view(2,-1)) # 計(jì)算x和y的叉積，注意要先將它們展平為二維矩陣
print(s)

import torch
x = torch.ones(5,3) # 形狀為[5,3]的張量
y = torch.ones(3) # 形狀為[3]的張量
z = x + y # 可以進(jìn)行廣播運(yùn)算，因?yàn)閺暮笸翱锤鱾€(gè)維度都滿足規(guī)則：第一個(gè)維度都是3；第二個(gè)維度x是5而y不存在。
print(z.shape) # 廣播后得到形狀為[5,3]的結(jié)果

a = torch.ones(2,1) # 形狀為[2,1]的張量
b = a.t() # 轉(zhuǎn)置后得到形狀為[1,2]的張量
c= a + b # 可以進(jìn)行廣播運(yùn)算，因?yàn)閺暮笸翱锤鱾€(gè)維度都滿足規(guī)則：第一個(gè)維度a是1而b是2；第二個(gè)維度a是2而b是1。
print(c.shape) # 廣播后得到形狀為[2,2]的結(jié)果

d= a * b.t

d = a * b.t() # 不能進(jìn)行廣播運(yùn)算，因?yàn)閺暮笸翱锤鱾€(gè)維度都不滿足規(guī)則：第一個(gè)維度a是1而b是2；第二個(gè)維度a是2而b是1。
print(d.shape) # 會(huì)報(bào)錯(cuò)：RuntimeError: The size of tensor a (1) must match the size of tensor b (2) at non-singleton dimension 0

import torch
import numpy as np
a = np.array([[1, 2], [3, 4]]) # 創(chuàng)建一個(gè)numpy數(shù)組
b = torch.from_numpy(a) # 使用torch.from_numpy()函數(shù)將數(shù)組轉(zhuǎn)換為張量
c = b.numpy() # 使用numpy()方法將張量轉(zhuǎn)換為數(shù)組
print(type(a)) # 輸出<class 'numpy.ndarray'>
print(type(b)) # 輸出<class 'torch.Tensor'>
print(type(c)) # 輸出<class 'numpy.ndarray'>

import torch
import numpy as np
a = np.array([[1, 2], [3, 4]]) # 創(chuàng)建一個(gè)numpy數(shù)組
b = torch.from_numpy(a) # 使用torch.from_numpy()函數(shù)將數(shù)組轉(zhuǎn)換為張量
c = b.numpy() # 使用numpy()方法將張量轉(zhuǎn)換為數(shù)組
print(type(a)) # 輸出<class 'numpy.ndarray'>
print(type(b)) # 輸出<class 'torch.Tensor'>
print(type(c)) # 輸出<class 'numpy.ndarray'>

import torch
import numpy as np
a = np.array([[1, 2], [3, 4]]) # 創(chuàng)建一個(gè)numpy數(shù)組
b = torch.from_numpy(a) # 使用torch.from_numpy()函數(shù)將數(shù)組轉(zhuǎn)換為張量
print(id(a)) # 輸出140376807236608，表示a在內(nèi)存中的地址（整數(shù)）
print(b.data_ptr()) # 輸出140376807236608，表示b在內(nèi)存中的起始地址（整數(shù)），與a相同，說(shuō)明共享了內(nèi)存空間

a[0][0] = 10 # 修改a中第一個(gè)元素為10
print(a) # 輸出[[10  2] [ 3  4]]
print(b) # 輸出tensor([[10,  2], [ 3,  4]])，說(shuō)明b也跟著改變了

b[0][1] = -10 # 修改b中第二個(gè)元素為-10
print(b) # 輸出tensor([[ 10, -10], [ 3,   4]])
print(a) # 輸出[[ 10 -10] [ 3   4]]，說(shuō)明a也跟著改變了

c = b.to(torch.float32) # 將b從int64類型轉(zhuǎn)換為float32類型，并賦值給c
d = c.numpy() # 將c轉(zhuǎn)換為numpy數(shù)組，并賦值給d
print(id(c)) # 輸出140376807236608，表示c在內(nèi)存中的地址（整數(shù)），與a、b相同，說(shuō)明仍然共享了內(nèi)存空間
print(d.data_ptr())

print(id(d)) # 輸出140376807236608，表示d在內(nèi)存中的地址（整數(shù)），與a、b、c相同，說(shuō)明仍然共享了內(nèi)存空間

c[0][0] = 100.0 # 修改c中第一個(gè)元素為100.0
print(c) # 輸出tensor([[100., -10.], [ 3.,   4.]])
print(d) # 輸出[[100. -10.] [ 3.   4.]]，說(shuō)明d也跟著改變了

d[0][1] = -100.0 # 修改d中第二個(gè)元素為-100.0
print(d) # 輸出[[ 100. -100.] [   3.    4.]]
print(c) # 輸出tensor([[ 100., -100.], [   3.,    4.]])，說(shuō)明c也跟著改變了

e = b.to(torch.float64) # 將b從int64類型轉(zhuǎn)換為float64類型，并賦值給e
f = e.numpy() # 將e轉(zhuǎn)換為numpy數(shù)組，并賦值給f
print(id(e)) # 輸出140376807236608，表示e在內(nèi)存中的地址（整數(shù)），與a、b、c、d相同，說(shuō)明仍然共享了內(nèi)存空間
print(f.data_ptr()) # 輸出140376807236608，表示f在內(nèi)存中的起始地址（整數(shù)），與a、b、c、d、e相同，說(shuō)明仍然共享了內(nèi)存空間

g = b.to(torch.device('cuda')) # 將b從CPU移動(dòng)到GPU，并賦值給g
h = g.numpy() # 將g轉(zhuǎn)換為numpy數(shù)組，并賦值給h
print(id(g)) # 輸出140376807236608，表示g在內(nèi)存中的地址（整數(shù)），與a、b、c、d、e相同，說(shuō)明仍然共享了內(nèi)存空間
print(h.data_ptr()) # 報(bào)錯(cuò)：TypeError: can't convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.

import torch
x = torch.tensor([2.0, 3.0], requires_grad=True)
y = x ** 2
print(y)
y.backward()
print(x.grad)

import torch
x = torch.tensor([2.0, 3.0], requires_grad=True) # 創(chuàng)建一個(gè)需要求導(dǎo)的張量x
y = x ** 2 # 對(duì)x進(jìn)行平方運(yùn)算，得到y(tǒng)
print(y) # 輸出tensor([4., 9.], grad_fn=<PowBackward0>)
y.backward() # 對(duì)y進(jìn)行反向傳播，計(jì)算x的梯度
print(x.grad) # 輸出tensor([4., 6.])

print(y.grad_fn) # 輸出<PowBackward0 object at 0x7f8c1c1a5b80>

print(y.grad_fn.next_functions) # 輸出((<AccumulateGrad object at 0x7f8c1c1a5b50>, 0),)

print(y.grad_fn.next_functions[0]) # 輸出(<AccumulateGrad object at 0x7f8c1c1a5b50>, 0)

print(y.grad_fn.next_functions[0][0].variable) # 輸出tensor([2., 3.], requires_grad=True)

print(y.grad_fn.saved_tensors) # 輸出()

import torch
x = torch.tensor([2.0, 3.0], requires_grad=True) # 創(chuàng)建一個(gè)需要求導(dǎo)的張量x
y = x ** 2 # 對(duì)x進(jìn)行平方運(yùn)算，得到y(tǒng)
print(x.is_leaf) # 輸出True，因?yàn)閤是用戶直接創(chuàng)建的
print(y.is_leaf) # 輸出False，因?yàn)閥是由x經(jīng)過(guò)運(yùn)算得到的
y.backward() # 對(duì)y進(jìn)行反向傳播，計(jì)算x和y的梯度
print(x.grad) # 輸出tensor([4., 6.])，因?yàn)閤是葉子節(jié)點(diǎn)，所以它的梯度被累加到了.grad屬性中
print(y.grad) # 輸出None，因?yàn)閥是非葉子節(jié)點(diǎn)，并且沒(méi)有使用retain_grad()方法來(lái)保存它的梯度

import torch
x = torch.tensor([2.0, 3.0], requires_grad=True) # 創(chuàng)建一個(gè)需要求導(dǎo)的張量x
y = x ** 2 # 對(duì)x進(jìn)行平方運(yùn)算，得到y(tǒng)
print(x.is_leaf) # 輸出True，因?yàn)閤是用戶直接創(chuàng)建的
print(y.is_leaf) # 輸出False，因?yàn)閥是由x經(jīng)過(guò)運(yùn)算得到的
y.backward() # 對(duì)y進(jìn)行反向傳播，計(jì)算x和y的梯度
print(x.grad) # 輸出tensor([4., 6.])，因?yàn)閤是葉子節(jié)點(diǎn)，所以它的梯度被累加到了.grad屬性中
print(y.grad) # 輸出None，因?yàn)閥是非葉子節(jié)點(diǎn)，并且沒(méi)有使用retain_grad()方法來(lái)保存它的梯度

# 清除張量中已有的梯度值
x.grad.zero_()
# 或者清除優(yōu)化器中已有的梯度值（如果有）
# optimizer.zero_grad()

# 禁止張量中新產(chǎn)生的梯度計(jì)算和累加
with torch.no_grad():
    z = x ** 3 # 對(duì)x進(jìn)行立方運(yùn)算，得到z
    print(z.requires_grad) # 輸出False, 因?yàn)閦不需要求導(dǎo)

import torch
import torch.nn as nn

# 定義線性回歸模型 y = wx + b
class LinearRegression(nn.Module):
    def __init__(self):
        super(LinearRegression, self).__init__()
        self.linear = nn.Linear(1, 1) # 輸入維度為1，輸出維度為1

    def forward(self, x):
        y = self.linear(x) # 前向傳播邏輯
        return y

# 創(chuàng)建模型實(shí)例
model = LinearRegression()
print(model)

# 創(chuàng)建損失函數(shù)（均方誤差）和優(yōu)化器（隨機(jī)梯度下降）
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.

# 生成隨機(jī)數(shù)據(jù)
x = torch.randn(100, 1) # 100個(gè)隨機(jī)輸入
y = 3 * x + 2 + torch.randn(100, 1) # 對(duì)應(yīng)的輸出，加上一些噪聲

# 訓(xùn)練模型
epochs = 20 # 迭代次數(shù)
for epoch in range(epochs):
    # 前向傳播，得到預(yù)測(cè)值
    y_pred = model(x)
    # 計(jì)算損失值
    loss = criterion(y_pred, y)
    # 反向傳播，計(jì)算梯度
    loss.backward()
    # 更新參數(shù)
    optimizer.step()
    # 清零梯度
    optimizer.zero_grad()
    # 打印損失值和參數(shù)值
    print(f"Epoch {epoch}, loss: {loss.item():.4f}")
    for name, param in model.named_parameters():
        print(name, param.data)

# 測(cè)試模型
x_test = torch.tensor([[4.0]]) # 測(cè)試輸入
y_test = model(x_test) # 預(yù)測(cè)輸出
print(f"Predicted y for x = 4: {y_test.item():.4f}")