继续请教问题:关于 Pytorch 的 Autograd

雷达

  c- T& e1 m& O) H& q2 u& f
+ `& \4 h3 L5 q/ |7 A+ V为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
1 @0 \0 \% t7 c2 N* A7 ]% _: ]import torch
" p4 _3 g( x! Q& {2 [" Iimport numpy as np
; `# @  C5 q( l& Zimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
: w* A0 d3 M+ V9 a. e* Uy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
: K% v+ N2 S! ?& s4 u1 O
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
# V% K2 @$ F$ n7 t( `& Mb = torch.tensor(0.,requires_grad=True)

epochs = 100
1 i$ |) X+ b5 P8 J2 r' P! g
% @+ A) t+ }3 r3 u) n. g0 blosses = []
6 n) j6 `2 d9 Y6 Ufor i in range(epochs):
& R5 G1 k7 w/ J; a& @1 k  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

( I" K) P% V/ Z7 J8 J- k. h: J  loss = torch.square(y_pred - y).mean()   #计算 loss
7 C1 G0 T2 U% U/ k& f  losses.append(loss)
8 B/ M& j! r- Z, ]0 K7 Y$ K; s  
) a1 R- \+ Y3 w0 g' P  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
. T& D9 h* [: j; @! h7 Q3 }; x$ L  b.grad.zero_()
/ c5 K# P, Y: }+ a
print(w.item(),b.item()) #结果
% J4 T+ E9 B/ c$ t% }* h% X
9 I. y9 }) ~9 ^) m. x4 iOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
% F6 Z. }( p, ]3 ?4 H5 i最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
; S% D/ @% w; P0 t: T高手们帮看看是神马原因？
6 V" [" X+ y; ~4 P1 e- w: n

老福

$ p- K$ B2 x3 p( w7 \
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
1 Y* A9 ^9 b  _算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
! u( @! e7 C0 F/ _- Z5 n7 k# k不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
% `0 m  t1 l/ q' S; Z. v7 q, Z我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
& k0 ^' d  W0 v7 r1 C我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

) B% P) Y- \& r4 y( j
9 b" |! I0 S/ f, e# U7 _刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

1 a3 c2 X. A8 T$ F" F+ Y或者把b但的起点改为1试试。 ...

. H' |4 c( D% f' A2 p
: {  ]7 |8 t' g+ s4 n' s你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
4 b0 D: m( P" i+ [2 B" U; e. by = (x*27+15).reshape(-1)
9 e7 o) |$ J. }+ t4 c1 q' J( Y; ?
0 V) f! k4 i- u) c8 Y7 ]循环次数加成10倍，就看到 b 收敛了
w , b
- `7 x; U$ R- c% b27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。