继续请教问题:关于 Pytorch 的 Autograd

雷达

8 H8 Z+ b; x; q* ~" b: n为预防老年痴呆，时不时学点新东东玩一玩。
) M) J) Y: f; i* }Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
4 `  ~2 ]* a) Y  \8 S  Limport torch
$ X& u( p+ G. S- P& O1 q, ~import numpy as np
# ]1 a) A- Q* G3 H; s7 x  Y  Z& b# Vimport matplotlib.pyplot as plt
9 F, P2 N/ N) o7 X) o" B3 pimport random
' f* W/ `9 A- B. J% n
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
1 n5 w" s! U* g( K( l
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
8 n% H# F- Y' u3 ^* N4 a4 Wb = torch.tensor(0.,requires_grad=True)

epochs = 100

losses = []
% P5 i3 _: i' q7 w( Zfor i in range(epochs):
0 V# e  q' L, u  y_pred = (x*w+b)    # 预测
  D( x, m% z: K3 ^$ y8 |$ F  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
8 s) x, v% F! r0 k7 R$ k6 G  loss.backward() # autograd
  with torch.no_grad():
  m; V0 h6 d2 C5 j: X1 l    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
' A; R  z3 y+ M/ u1 \  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

" c. v  k; f1 r1 k. T* AOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
, C$ q4 y; ^! Z/ M  {- Q8 K最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
/ S. o- `6 i8 o" l3 P* W* c

老福

0 l. B! K" w% @  A; A, C没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
4 X5 K8 @5 i4 C-------
$ Q6 _- I0 z2 g) o' P不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
! e8 X7 H1 ^! z8 p算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

9 _5 d. a' Z+ a谢谢，算法应该没问题，就是最简单的线性回归。
0 _# |3 H( ?( S+ q4 z+ ]. X6 B- _+ s我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
3 D* p, u* ]/ Q. x谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

/ a. K! e0 s8 r8 v: a$ ]' o& `刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

' \) l: B& j/ {3 j3 o0 a或者把b但的起点改为1试试。

雷达

" \, o# \) a/ N1 J# q) n: k. x

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

1 a. q% h6 w7 o" i. H1 V或者把b但的起点改为1试试。 ...

- N  ~2 M; x5 _; C; L6 a9 B
你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 I! ?, _5 ^, l. H1 Ty = (x*27+15).reshape(-1)

! ~5 e0 u+ a1 i' X循环次数加成10倍，就看到 b 收敛了
, b1 F6 D3 v  b; B* n4 H2 Vw , b
! \+ j8 I$ \) y* E2 u8 U5 V27.002620697021484 14.826167106628418
  V3 Q( p# u2 _2 j
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。