继续请教问题:关于 Pytorch 的 Autograd

雷达

# J' b' P% I6 u7 M3 G为预防老年痴呆，时不时学点新东东玩一玩。
/ W! k+ M: ~6 Y& t8 j3 QPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
. y6 a9 T9 U$ Aimport torch
5 {* }4 l2 Z+ e+ j( C/ A7 g; Kimport numpy as np
6 e( b6 b. J% z' U& @# f) timport matplotlib.pyplot as plt
import random
" M4 e8 [0 }! q! [# u' l& ]
! H$ ]3 m. E  X8 H5 S8 V7 ^x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
; O" Q2 ~1 u8 \5 R  ?: ub = torch.tensor(0.,requires_grad=True)

3 E. h9 K+ i. v9 y9 ?) R) A: Bepochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
/ c7 \. u7 O" u* M+ Z: F$ o  y_pred.reshape(-1)

5 |* [: ]$ S: @# O: _* W; G3 R; ~8 p. B& e  loss = torch.square(y_pred - y).mean()   #计算 loss
$ r8 j8 R/ S7 B3 O; b! t+ _2 l  losses.append(loss)
  
  loss.backward() # autograd
/ D% D1 }: n1 t, H  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
# V/ I( M  u* J8 b! g- m    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
/ E- I0 r6 x1 d) @# T' m1 a$ T" R  b.grad.zero_()
" Q3 u+ Q) Z+ N# W+ v' J  v# g0 F
print(w.item(),b.item()) #结果

: u" j* d  a2 o# ^8 J* [Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
  w# b( C! O. l) Z$ T最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

4 ?2 Z% j# ?( ~6 U( d. j: U没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
1 K3 F- k; Z$ s-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- w( f8 A, i2 n2 T  ?8 h-------
不好意思， ...

! {* b, z( [6 h; h谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

! g7 a' Y$ D- \$ P

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
3 v0 W8 k4 d( s1 Z+ g, w5 l2 F我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

  d8 _5 v- M* z7 B9 \; P刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
. Y" {# w* D; A0 a! {
. b8 x: n8 \% j6 x或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
* m. T8 y$ ^! e' |1 B4 L6 T刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
9 a$ J7 s7 r9 @0 R' {
2 W$ G0 t! G8 ?, w! H# Y8 r或者把b但的起点改为1试试。 ...

, z) O/ ]% ~2 F: J/ Y4 W: u你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
$ p' o) u; \/ I, ?w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。