继续请教问题:关于 Pytorch 的 Autograd

雷达

& B* O4 R6 B8 {' Y; t
为预防老年痴呆，时不时学点新东东玩一玩。
: `/ G1 y/ V7 }, M2 UPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
2 @+ {: ^5 J: nimport torch
: g  I3 C: |  M( }& mimport numpy as np
import matplotlib.pyplot as plt
0 E' ~7 A6 W5 J, ?; z" aimport random
9 r: v1 A7 H5 p# T* ]7 J
9 J+ ]% o' [. @+ ]0 {% L6 i' W' qx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
$ l) i3 z: ~1 A' A$ h' z7 }
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
# ~: M+ f3 j3 z) ib = torch.tensor(0.,requires_grad=True)

epochs = 100
( t! v2 F9 l$ U  x
  G, K" x2 P! H1 F! r4 S* `9 Mlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
. N5 w7 V+ p: E: M% q2 R7 _
' n: i, a- a, o7 I4 N7 X  loss = torch.square(y_pred - y).mean()   #计算 loss
' `6 T" O1 [: x) \' S  losses.append(loss)
1 q5 v' R0 O7 t' w' y3 z  
  loss.backward() # autograd
0 H. L2 X5 E1 m2 t$ L* v6 Z2 l  with torch.no_grad():
! X4 J6 q6 z  q# D0 j3 @4 A    w  -= w.grad*0.0001   # 回归 w
4 n* K' O7 b/ r; M    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
' B! c' K: V% L: @, Q3 f" o; X----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
& t; _: P0 a, f4 z0 O. `! h9 I高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 e2 Z# D  W- V$ ^: z% H; [; u-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
% k; R; N: W1 I" o, u-------
1 Z( P# o6 _7 ]8 }+ F( p& T算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
% |4 d, Y% C+ S! C5 O4 o$ O没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( w/ A8 V! K! \7 Q$ H-------
不好意思， ...

+ a! j, K( E: ]# c# W; n5 @% S谢谢，算法应该没问题，就是最简单的线性回归。
/ H1 ?# v" W7 u( A- {我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

9 n' o4 [; V1 G9 x
. w" t$ P+ B; C4 z$ g& ^' V3 N刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

0 K0 g3 C! h2 g# S0 {" U. [

老福 发表于 2023-2-14 22:00
  l% C4 \. K0 p/ g$ T刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
8 [! C  m- _) Y, X2 Q0 O
* A7 H3 @" s  p0 z  C% C: e  Q5 z或者把b但的起点改为1试试。 ...

9 L+ B1 t* J& V/ ~. L8 }' f
/ Y" \+ \+ f, s: ]你是对的。
去掉了随机部分
- b( y* e) [# ?* O; D#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
" e. E, x) r4 f  I
循环次数加成10倍，就看到 b 收敛了
3 C$ G3 c0 }: j* j" X  Vw , b
' B+ o# |  `: I% `' T27.002620697021484 14.826167106628418

. I1 I% D# @6 U" k/ v! r和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。