继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
1 v- D/ _: e$ C* ]' c& F# J$ \2 Wimport torch
import numpy as np
import matplotlib.pyplot as plt
; n- b/ A0 n5 z3 |- u, wimport random

+ u+ ^9 ?- a' ux = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

( z  c' k0 s2 ^w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100
. H; W! V' V5 y! h$ }+ K2 h) w
losses = []
. u3 a- u+ j6 N$ x/ Jfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

2 f1 b; t0 J1 g, x( S" C  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
+ ^7 m: z0 I( m( \' W) [  
/ l9 d) e$ x8 {  loss.backward() # autograd
  with torch.no_grad():
3 z. T. \" }" I+ O# S    w  -= w.grad*0.0001   # 回归 w
1 M( [. A2 J$ a2 k$ s7 A" ?! B/ f    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
$ H$ [8 w5 h2 L- q- o  ^$ e  b.grad.zero_()
, T8 M# H3 D/ G- F$ Y, q) v- D
print(w.item(),b.item()) #结果

3 G, g) D( t  j! c0 h& ^Output： 27.26387596130371  0.4974517822265625
1 G" G/ x1 q7 b9 t) r* n6 n4 Q----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
! c( x8 U! O$ i" v+ l; Z

老福

& |1 z8 Z- u5 y, @; s
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
% O" \  D" l$ q-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
" V1 \: z" N. J- i3 |& b3 N没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
) B+ }  N7 @3 U: Z不好意思， ...

; C+ ^  m8 I$ S) D8 i2 u  g; D- O: l谢谢，算法应该没问题，就是最简单的线性回归。
4 f  t+ ]/ j- A, t8 R4 X我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

& v& Z& R5 T- c  b' \0 ?  }

雷达 发表于 2023-2-14 21:52
+ d% e  O; L* r) F3 R4 {$ Q! U谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

) N: H4 M) n* T) h, X1 U) u4 L  A9 N- Q& P
& u  J( f5 U4 d& P# i, s刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
1 w. G# p. Z- W) {+ o* l, C
4 C$ w+ Q: h# A$ v  B; p+ M8 w或者把b但的起点改为1试试。

雷达

) \/ L8 s( B) U" p( {

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

6 H/ Z2 W& d, n( O
你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
8 A" G  u/ d+ h$ ny = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
% q( W* q) o* T" @* X2 G: O, G
( e' }& p8 x& u和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。