继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
/ b- u( V, m" v- K9 o/ u& O----------------------------------------------
) `5 o( {. p  H$ F+ cimport torch
; z% d& L3 j' X* D- t: {' @! ^import numpy as np
8 q% E$ k+ j' d( O/ c  H: a: yimport matplotlib.pyplot as plt
* r; k; j0 A% C* u$ u4 T4 ]import random
6 c: t, C' O; o$ Y
: d" a* X3 g( B$ Lx = torch.tensor(np.arange(1,100,1))
5 C* V; H8 c" T/ g4 gy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
8 }$ Y# ^; O5 a" C0 I
  a8 ?+ k) D+ _/ r! A" y% h. X: mw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

0 D! R5 q: z$ \, ~5 @& Cepochs = 100

" ~) s2 W5 G, l0 klosses = []
. }( l$ X) L7 Z4 N8 ofor i in range(epochs):
  y_pred = (x*w+b)    # 预测
7 U+ B- A" _- g  y_pred.reshape(-1)
; [5 a6 b0 l2 t6 a0 j- Z
  loss = torch.square(y_pred - y).mean()   #计算 loss
' i6 ]0 P/ K* L4 T) `& u  losses.append(loss)
$ ^  B; T; {( {8 ]* |3 I8 o$ |  
7 Q* x: w/ s4 H, S4 T2 _. E0 ~  loss.backward() # autograd
  with torch.no_grad():
4 _2 \& t3 V" g6 }/ k  W3 m    w  -= w.grad*0.0001   # 回归 w
; h0 R) H) v5 [/ x    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
! j7 [6 R4 j3 c0 }$ P4 t4 j
Output： 27.26387596130371  0.4974517822265625
7 ^$ j2 ~+ O7 g----------------------------------------------
6 ]7 n$ L& N4 S* n6 o4 l& e& C最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
& g7 U. Y" T2 T4 p-------
1 N+ d/ {& I$ D8 X不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
. [0 W9 H. _0 }8 S7 c4 G9 _0 @算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 W8 E6 V! u0 Q; z-------
6 ]; m2 A+ A/ q5 w) N, w不好意思， ...

2 |  V4 _- Y4 D6 O4 v( ]* M  \  n" b' p谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

* g8 c. |6 Z7 R

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
* O! X- |5 B1 \5 M0 Q& C* U我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

9 z# I7 ~' `, i7 J6 `' n' p刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

! }, ^8 f7 s# c1 s或者把b但的起点改为1试试。

雷达

0 c: T  B/ D' n, m& X

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 E+ x! B1 {$ e& z8 J
  X% b* {; T: Y) s或者把b但的起点改为1试试。 ...

$ K. {2 n8 _# t9 h
/ n3 x2 [! K" o7 u/ A你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
; }$ w: }! C! [3 S( u: v/ v
循环次数加成10倍，就看到 b 收敛了
w , b
8 x$ }9 C) W5 e1 r- }1 |3 r27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。