继续请教问题:关于 Pytorch 的 Autograd

雷达

% e/ Z% B% R! b; E0 q* d7 [
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
8 s1 x4 \! ?4 z) i# [import torch
import numpy as np
' @+ B, N+ o6 h$ y0 Wimport matplotlib.pyplot as plt
+ k, O% s) L; d( W5 y5 }# @import random
7 z' S$ ]' J3 q) }+ \; @
' i) t* Z. }! R3 B, \# _/ p& Yx = torch.tensor(np.arange(1,100,1))
( ]6 t* [3 {& I/ N/ M/ My = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
+ [% A7 u& s# E
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100
& @1 R7 ^% J: B- s0 l+ i9 ]
4 t3 m5 E; W- closses = []
9 n% u* N9 _# {) Xfor i in range(epochs):
3 u3 p% a* Y6 d  K  B- J  y_pred = (x*w+b)    # 预测
( Z9 A4 D1 d/ {0 V  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
* M+ o3 L$ ?, u0 l; C" }: k0 O  
4 r8 v0 P$ E: y: e. z  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
1 s% D3 W5 D1 F, x# t; v5 [& Y    b  -= b.grad*0.0001    # 回归 b
9 |2 `% L# Y' D4 _7 F2 c# H  w.grad.zero_()  
6 P) [2 S7 x6 h% {  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
$ u4 x! W+ L$ Y; I' J----------------------------------------------
8 g1 v0 _% N* n) U1 @, j. \最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

* N( {6 e/ A; |! G$ }
! e8 b! U6 ]; q& y5 @没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
9 ?# ~5 z7 v  {- m-------
) F% B: g! J  i( i' ~4 \不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
5 ~4 L- b$ i" S% f3 T  Q+ r算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
" ^2 H2 y" J3 O$ ~7 z没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

6 l# N2 i8 ]8 `8 E5 y9 F2 e谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
$ ?# }; ~8 i! L/ w) c1 L我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

- g+ T) Q  W% }; A" c  m
9 F0 m) k. J. g2 @; D# P0 B% i刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
. ?8 p2 h& H) W8 ?- {% e
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
& ]' \3 t8 c- y7 K0 O9 h
或者把b但的起点改为1试试。 ...

. }6 X  v* F. X# H9 o' [5 |$ K. n
0 |* @% C+ V0 F1 R# L" z你是对的。
1 i9 r9 c9 f" z6 @' H( G% _4 V去掉了随机部分
- c/ P) b! t* |  Z" c4 A/ ?# A#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

! b0 L" f1 C8 q' n- f2 P9 d循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
$ {" y1 d' @. Y( T, D
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。