继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
% N( Y2 z/ p+ v0 F0 _0 y! w' P5 yimport torch
% k6 u; x  Q# f; Z" K. b# z0 Eimport numpy as np
import matplotlib.pyplot as plt
import random
& C: h) E' J* |+ i: ?
/ l1 v* E. J9 [! i8 d% mx = torch.tensor(np.arange(1,100,1))
( a' Z, e5 [' E' ky = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
# L7 G2 e3 E9 J8 G
+ s: a( y+ H/ i9 R& J! X8 iw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
$ c" b' F+ X1 T$ ~0 g
& E# R9 z, v9 {4 L7 xepochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
5 l0 v; T/ _, }& C6 m& g  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
( A+ v. E5 u  R$ f" h8 K  losses.append(loss)
  x) @, [4 i  @3 Q  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
1 t) D* \$ c7 s% S    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
& I" |1 K" G' M! D. L3 x+ ~4 \6 q
/ x4 k# Q! p; s) t; A# f) r6 BOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
* h6 B& g: c9 F

老福

4 f) K4 H: h& f5 w0 L* N没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
# n' J- k0 _! M5 {% }$ S; P( }* x-------
. w' X) v) a! T! \6 b* j不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
$ o- \* T; Y* w/ b2 ]$ Y4 H-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
, e  h% A0 O* }& H4 W4 i5 p; W-------
# |$ U2 r" W+ r# H- s' O1 }不好意思， ...

# \! p' m$ V0 Y9 [8 T谢谢，算法应该没问题，就是最简单的线性回归。
3 \, i8 {$ ^9 N  E% ~我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

0 P0 E$ X  \) U' a' d9 Z
7 I* P6 g/ R) _刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
& E) N! ^% K/ Z7 }7 D1 x
7 ^5 v2 j; F' _或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
4 X4 ~7 ?; F* G. B( [5 V刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
1 D" o' C- S/ Z7 W% U/ _+ j
或者把b但的起点改为1试试。 ...

2 A1 ]/ `* X- \7 C: R
你是对的。
/ d0 W' Y/ E0 U- q/ x去掉了随机部分
) d; e) m6 i  b#y = (x*27+15+random.randint(-2,3)).reshape(-1)
% D1 T$ j* N1 H- L1 gy = (x*27+15).reshape(-1)
6 R2 |  Y% z* c/ I
' y/ v# n; ]) |& O* N; F循环次数加成10倍，就看到 b 收敛了
  e: X, I9 G( p3 n6 H% `' E$ hw , b
* C0 ^  o7 y9 C3 P! G27.002620697021484 14.826167106628418
# q7 l" w" b  y0 t& k( W
, n# Q' A+ y% K+ n和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。