继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
+ e; p0 G3 V, u5 p; C+ G- W+ w, mPytorch 下面的代码做最简单的一元线性回归：
2 V3 ~! k. A0 Z8 o1 b; c- K' Q----------------------------------------------
9 B0 G) l2 [/ B0 M4 N5 Z1 B$ r5 ximport torch
import numpy as np
import matplotlib.pyplot as plt
9 z  r0 |$ k* k6 P% Qimport random
+ r2 K0 M% b; E( i  o6 m
- S9 s5 i0 h0 c. z. m8 _x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
1 s% M6 o- b" a6 z2 Tb = torch.tensor(0.,requires_grad=True)

epochs = 100

+ ^( y$ l0 f, v  n! I8 X, [losses = []
# p0 B) \3 `+ V; J/ o2 Rfor i in range(epochs):
7 M+ I) I6 \) C5 M3 Q- y8 N" ?  y_pred = (x*w+b)    # 预测
8 C4 u) g( y# x  d8 ~4 U! C" Z( S: m  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
+ ~" A3 T# I7 C9 I$ U+ [3 A  losses.append(loss)
  
- m3 w7 l$ Q6 P' U% F5 @2 i8 y2 }  loss.backward() # autograd
8 }' E7 ]" c! c: M  q  M  with torch.no_grad():
) G. D5 \, X! S2 \( @& |# P  I    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
5 \& q! ^0 D( `  b.grad.zero_()

! w5 u0 v1 X0 R! @3 ^# A  Dprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
- o5 K- q8 ?% l----------------------------------------------
3 l  H) F# ], w' t( F最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
. k8 l& h/ l$ y/ g

老福

; F1 x4 k' i  K- S3 U8 C" M没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
2 r( t* L! [+ \6 B/ o6 n% I  D1 s-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 {+ u' R% H5 T/ e-------
不好意思， ...

- W- h% a% j2 a  F9 i6 y4 N谢谢，算法应该没问题，就是最简单的线性回归。
" @; H% u& ~+ s3 B) c我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
/ T. F1 e/ v! q" ~3 H& f/ M; J  K1 `谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
, n! t- u5 Y1 d" |& c  B6 m
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

: ]8 V1 ^8 i/ i2 d6 B或者把b但的起点改为1试试。 ...

& v6 D+ |" t2 D
你是对的。
5 T+ B. r/ B, U" z2 X1 d; d去掉了随机部分
* U0 q& o9 B) `3 f#y = (x*27+15+random.randint(-2,3)).reshape(-1)
' ^! [4 A, s/ p& Vy = (x*27+15).reshape(-1)
9 n, N2 j9 [  ?
循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
% ^, d/ L2 @3 [, w! \
% ?) i, s1 ]( t9 o/ F和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。