继续请教问题:关于 Pytorch 的 Autograd

雷达

% ?# t3 u1 S+ ~3 \: D1 F$ s; ?- j# u% P  G
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
9 ~7 _( h8 O; `5 d6 H, Himport torch
. k; L6 R# g9 F/ v1 }; Kimport numpy as np
import matplotlib.pyplot as plt
5 G- i" t  v! f+ vimport random
! U8 l8 d- w; P  P* R
6 g% P( q0 i- R$ k- y8 ]# wx = torch.tensor(np.arange(1,100,1))
+ d4 {  k1 P3 By = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
# C3 ]! b2 A5 ^+ k
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
' }3 {4 N, y0 J; s1 A  P: c$ b
epochs = 100

: u+ T1 L4 c( O, H% k9 Q7 @& alosses = []
* F, J7 q# }( O1 W7 l! Dfor i in range(epochs):
4 C6 @4 A9 m# {" Q6 m7 H  y_pred = (x*w+b)    # 预测
  _5 F! T3 y( t$ V* u9 e  o  y_pred.reshape(-1)
( w$ t" h4 R# N% j$ K
  loss = torch.square(y_pred - y).mean()   #计算 loss
' c$ `' g& j- {5 r4 f  losses.append(loss)
  
2 m+ [& l1 w$ p. g  loss.backward() # autograd
: ~8 H- G7 J2 C  with torch.no_grad():
* O3 d% z* L, D: m    w  -= w.grad*0.0001   # 回归 w
5 ~/ f  B5 r5 [' y) f    b  -= b.grad*0.0001    # 回归 b
* w! P' i2 f& d* x; x4 ~! M  w.grad.zero_()  
  b.grad.zero_()
/ E% }; V$ [$ y3 Y
8 L  p  _% ?# w- D! I& C9 M- ~print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
7 t1 n1 k% `4 ?4 ]----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
( }5 h& q3 `$ N* l高手们帮看看是神马原因？

老福

/ w# @( @; n) Y% j
8 o7 M" N$ Y$ P8 t没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
+ k6 H* }3 g# e7 H3 S  ]" r; B-------
; ^' x# X+ C3 z  s, k不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
; H& w& j/ |. N; V: ]-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
+ z  K3 A8 L0 f. Z9 ^$ Z没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
2 o2 @. Z# U  j& m不好意思， ...

: ~# O; d- v2 K. v( ?8 q谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

  E: [1 r- o6 i$ ~- X

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
9 |' s" E/ B6 |( S) C0 N我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

  m% }. h0 r, ?刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
6 i7 [1 v& O8 _% }! g; Y
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
* V+ y# s& i5 f& ?& h: f' L/ n. a4 |0 P刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
8 S% z: K' L% B4 t: V9 U
或者把b但的起点改为1试试。 ...

  h8 `1 q8 d, Z, ^你是对的。
去掉了随机部分
  u0 A/ B0 L! y) e2 \8 l6 D" N#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
1 ^) `7 j* M5 \! a2 x$ h2 F! Z
( n, ]! `% T1 ~循环次数加成10倍，就看到 b 收敛了
w , b
; ?# }/ ^- X( s# V5 r. k27.002620697021484 14.826167106628418
8 N3 f% u$ \/ ~  I
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。