继续请教问题:关于 Pytorch 的 Autograd

雷达

6 ^# N! p. H' q: k, H$ p为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
$ Y5 e4 e/ u  X7 d: `2 v0 d----------------------------------------------
; h: k# j; S: K8 x: h$ g4 Aimport torch
import numpy as np
: ]5 s$ v! H8 K5 c& B# Vimport matplotlib.pyplot as plt
% t- ^; H0 ^( Cimport random
! w. `6 ]+ p2 e
5 a6 {: U5 H, b+ |0 e/ gx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
$ h! w8 t# h( f& ]
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100
5 T5 q' L, D2 n# ]2 g
0 L5 p0 J& ]" v: Ulosses = []
6 ]/ F# I/ A% E6 ^! |% |4 Zfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
; p5 a, R. r+ i. D
' w' \4 H/ ?) ^6 l$ e! M  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
: b$ g) Q( d, l% k0 M% X3 W2 O  
  loss.backward() # autograd
( f; E1 U- e' Z6 `  with torch.no_grad():
4 l. \+ [8 Z8 R. w8 T0 v) J    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
( S. E4 r; R* M, b+ q- E  w.grad.zero_()  
* k0 h# V! r) Q  b.grad.zero_()

- y! p& a' ]  W& L+ rprint(w.item(),b.item()) #结果
) \. c9 {! u4 i
8 B1 y$ U2 K1 D7 y* l0 uOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
) R, ]2 i  _! C" I/ e最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
' H& V5 A5 S, B2 m高手们帮看看是神马原因？
9 g) q! p2 V: b& r5 J# F

老福

# t) B4 [0 V+ w* r2 h
! j) J5 q2 `, w' N0 }1 R没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
' O' ]4 C5 ]% a5 }2 j6 O-------
9 i  C+ y% ^9 t' {+ L不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
* `/ T- @! F3 V没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
) i  G( _1 _( I6 n$ N" G-------
& M! z3 Q# i- s  W5 h不好意思， ...

! \) B! M; ^7 R5 \- s! C谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
4 k, B8 n9 C. d# t2 Q3 g2 n9 {) w: g谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

7 t8 W% r. j3 h$ w6 Y  D- z& H刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

4 y4 j* @2 e: G+ y或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
1 U( K  I4 R  Y
或者把b但的起点改为1试试。 ...

. i. o- L7 ?+ O. A- `1 h% x) x
5 S0 @& e& g" x  R2 O5 ]* G& S你是对的。
0 C) D* |7 z: a去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 c3 F7 Q  r) d3 {) V  m. v2 Iy = (x*27+15).reshape(-1)
  n- e# w6 A7 ?' D
循环次数加成10倍，就看到 b 收敛了
w , b
7 m% Z  H1 R. ^( {# L27.002620697021484 14.826167106628418

; k9 p5 m0 ~$ q8 E6 |和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。