继续请教问题:关于 Pytorch 的 Autograd

雷达

! c/ z; |- L8 t% N
+ H& H# ?& b! g+ {( }- w% P为预防老年痴呆，时不时学点新东东玩一玩。
9 F5 m- y! o) A1 F, OPytorch 下面的代码做最简单的一元线性回归：
' i$ D9 X0 E3 ~! t# t----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
, W' x3 `( ]" t5 m1 }' Jimport random
1 z  F# _3 L. c- M' ^& ?  L! |
+ z- d9 O) \  G9 t5 Z- }+ _x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
! J# u/ \( R) M7 ~8 e4 }5 \  X2 c
" X9 W2 D$ `  W0 Hw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
7 D( v1 {$ \4 E+ F8 j6 B1 L; `$ u: sb = torch.tensor(0.,requires_grad=True)
% ^, C9 ~$ m% R* e3 ?& O' e6 z
" S0 E' V0 _4 l0 }epochs = 100

losses = []
% Z8 S3 X6 Z5 A% B; z- Xfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
( H  T! F0 C( a# I$ I6 K- |  y_pred.reshape(-1)
3 m) A5 p  j3 Q* [, Z& H
" j; c3 M3 m- Q1 r' A  loss = torch.square(y_pred - y).mean()   #计算 loss
5 V- B: d$ t8 i4 E) ]  losses.append(loss)
9 }& @) @, X; E0 }6 X  
8 c$ f' s$ `' D% X  e- [  loss.backward() # autograd
, @8 j! M8 [) r- K4 ~0 p7 a5 }  with torch.no_grad():
/ D( U& U- u  T5 _1 `$ e    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
5 C/ x) ]) p) J7 X  w.grad.zero_()  
: m; j; e+ B! h. x. V5 a5 ~' m  T! T  b.grad.zero_()

print(w.item(),b.item()) #结果
" G/ W9 M" o2 \& t
# t; {& |8 W4 Y5 s6 G% Q& POutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

+ |+ R/ H7 H, q0 e" k3 X
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
/ ~, [3 Y; L* J. k5 a# J: J' E-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
- V4 m4 K( m+ ^7 ^9 [1 h/ P-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
! v3 Y* _" S/ z* O8 j' A/ x没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- _/ M" e* Q: |# D% r4 y. G-------
- o9 I1 Y; W: ~* H  P2 g* O. F不好意思， ...

* D) D8 [- |* ]7 M谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

! s- Z1 y/ ~8 K

雷达 发表于 2023-2-14 21:52
7 Y) `3 V' x9 O0 m谢谢，算法应该没问题，就是最简单的线性回归。
2 ~! K. o4 U: W$ m: v我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

5 k+ |) a0 `7 M/ u3 O+ ?
# Z* g& ~7 ~! Y2 G$ Y& @刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
% k1 F) m+ @# @& ~% c
或者把b但的起点改为1试试。 ...

* V1 g( p; P1 Q; Y
; k8 K* v' `' Y  b1 t你是对的。
8 a+ s% Y1 s: l8 Z( V' {$ ?去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
2 \% ^+ J( r, x# x
循环次数加成10倍，就看到 b 收敛了
w , b
0 \. o" w8 b1 u; U5 R. d' k27.002620697021484 14.826167106628418

! f  y9 Z+ g* }和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。