继续请教问题:关于 Pytorch 的 Autograd

雷达

) L$ y8 G6 u4 j
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
/ U9 h! U7 X, d' m$ [" y! Q8 t+ jimport numpy as np
import matplotlib.pyplot as plt
import random
+ \/ q4 G: {/ D3 a% p  H& I! t
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
# i- D& I2 I2 h5 @/ _
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100

, E/ l* ?/ n2 m* ]losses = []
9 x8 W& r. k9 G5 Q: [2 C5 O+ Dfor i in range(epochs):
; m" [, l" p# G4 b7 e; P/ w: [  y  y_pred = (x*w+b)    # 预测
# H! F- ~5 ~6 z  Z. n) J  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
1 s& c# T4 w  |; O" Y  U; s0 [. r9 W  
0 V! g( O1 n2 U& \; M. n4 K% L  loss.backward() # autograd
, Q# n% Y% X7 _5 h2 c4 c  z4 K  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
- z0 W6 n  @2 g; ]    b  -= b.grad*0.0001    # 回归 b
' e2 R: X/ J: ~  B# ~  w.grad.zero_()  
  b.grad.zero_()
, U3 \! l) f. I- ~- @# p6 F
print(w.item(),b.item()) #结果

9 e( A" _" F, {" n- POutput： 27.26387596130371  0.4974517822265625
3 v- X5 A8 X3 G. H( B; m6 ?' A, `----------------------------------------------
+ q$ h7 l# k, L. d最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
) o, J) W' q  h6 C, ^4 G高手们帮看看是神马原因？

老福

' x( n0 r4 J. o! U7 E. |没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
" R( ~6 ?7 \3 ~' Z- i! Z-------
) t3 O8 v- K% h5 f2 `1 z1 _算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
+ G3 I" L2 _8 L没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
) U) Y1 w; Q  V! l- j-------
不好意思， ...

  C% [' M. G* n$ W% g谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% Y) F/ r2 Y) z! R

雷达 发表于 2023-2-14 21:52
8 C2 t) S1 D! B) u+ O- w谢谢，算法应该没问题，就是最简单的线性回归。
, h5 n6 B7 _2 b7 {& {- ]0 d我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

* N% {# p/ _1 B9 |  ^' O$ I
) ^9 ?( ^4 r9 z6 C" C! O刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
6 T2 L) `3 \& J3 O
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
! C6 E) K2 N8 Q+ A; _7 F
或者把b但的起点改为1试试。 ...

7 A. i2 Z  X2 r+ V你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
0 D+ {  q7 g# E" {y = (x*27+15).reshape(-1)
3 B3 H& a  G7 L' }) r0 z+ P* P. P* P
/ q* K& w$ r! v3 S循环次数加成10倍，就看到 b 收敛了
w , b
& ]9 G, |6 [6 Q# B. H1 y27.002620697021484 14.826167106628418
' S- T' ^/ L; @5 M
' s; o- J4 P. P  O% ~和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。