解決torch.autograd.backward中的參數問題

torch.autograd.backward(variables, grad_variables=None, retain_graph=None, create_graph=False)

給定圖的葉子節點variables, 計算圖中變量的梯度和。 計算圖可以通過鏈式法則求導。如果variables中的任何一個variable是 非標量(non-scalar)的，且requires_grad=True。那么此函數需要指定grad_variables，它的長度應該和variables的長度匹配，里面保存了相關variable的梯度(對于不需要gradient tensor的variable，None是可取的)。

此函數累積leaf variables計算的梯度。你可能需要在調用此函數之前將leaf variable的梯度置零。

參數：

variables（變量的序列） - 被求微分的葉子節點，即 ys 。

grad_variables（（張量，變量）的序列或無） - 對應variable的梯度。僅當variable不是標量且需要求梯度的時候使用。

retain_graph（bool，可選） - 如果為False，則用于釋放計算grad的圖。請注意，在幾乎所有情況下，沒有必要將此選項設置為True，通?？梢砸愿行У姆绞浇鉀Q。默認值為create_graph的值。

create_graph（bool，可選） - 如果為True，則將構造派生圖，允許計算更高階的派生產品。默認為False。

我這里舉一個官方的例子

1. import torch
2. from torch.autograd import Variable
3. x = Variable(torch.ones(2, 2), requires_grad=True)
4. y = x + 2
5. z = y * y * 3
6. out = z.mean()
7. out.backward()#這里是默認情況，相當于out.backward(torch.Tensor([1.0]))
8. print(x.grad)

輸出結果是

1. Variable containing:
2. 4.5000 4.5000
3. 4.5000 4.5000
4. [torch.FloatTensor of size 2x2]

接著我們繼續

1. x = torch.randn(3)
2. x = Variable(x, requires_grad=True)
3.  
4. y = x * 2
5. while y.data.norm() < 1000:
6. y = y * 2
7.  
8. gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
9. y.backward(gradients)
10. print(x.grad)

輸出結果是

1. Variable containing:
2. 204.8000
3. 2048.0000
4. 0.2048
5. [torch.FloatTensor of size 3]

這里這個gradients為什么要是[0.1, 1.0, 0.0001]？

如果輸出的多個loss權重不同的話，例如有三個loss，一個是x loss，一個是y loss，一個是class loss。那么很明顯的不可能所有loss對結果影響程度都一樣，他們之間應該有一個比例。那么比例這里指的就是[0.1, 1.0, 0.0001]，這個問題中的loss對應的就是上面說的y，那么這里的輸出就很好理解了dy/dx=0.1*dy1/dx+1.0*dy2/dx+0.0001*dy3/dx。

如有問題，希望大家指正，謝謝_!

以上這篇解決torch.autograd.backward中的參數問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持我們。