继续请教问题:关于 Pytorch 的 Autograd

雷达

; [% A, m& v9 G) e
- J3 `+ J9 i, _8 w. u为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
4 v6 \" c! P, ~----------------------------------------------
( k& K# q7 o/ a, T1 t8 gimport torch
* O) Q' e# \3 w. v5 N4 y5 Pimport numpy as np
import matplotlib.pyplot as plt
import random
0 \0 y8 B2 W2 _
x = torch.tensor(np.arange(1,100,1))
+ U, W6 ^- V- F. f: oy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
9 M; B& K' e8 a
/ ]. C; J2 u. }4 u' [w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

' w8 L+ ]1 o3 Q8 Sepochs = 100
$ Z2 ~& X' u2 N# X/ a- g5 x
losses = []
; ]' n' n' I0 j/ D/ Xfor i in range(epochs):
, a+ U  n% K9 U6 z6 C  y_pred = (x*w+b)    # 预测
3 T2 T# O" [$ T3 m. J1 |* M  y_pred.reshape(-1)

5 o, C6 @9 _0 l6 e& l6 m  loss = torch.square(y_pred - y).mean()   #计算 loss
, `  Q  \3 Q  T3 O1 x, c  losses.append(loss)
. L+ Q) t. P6 |/ z  
  loss.backward() # autograd
  with torch.no_grad():
  K* N6 Y; {) c( S& E4 A    w  -= w.grad*0.0001   # 回归 w
/ s& [) Z$ S# q3 o8 P' i" |* f" p    b  -= b.grad*0.0001    # 回归 b
9 Y  o" T- s+ H* W  w.grad.zero_()  
  b.grad.zero_()
# ?) {1 @! \6 p2 N% c
6 Q2 {/ e/ c4 Rprint(w.item(),b.item()) #结果

2 W7 J+ b' D5 {& Y2 \6 {9 YOutput： 27.26387596130371  0.4974517822265625
8 A4 q8 Q: {( R----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
% T7 L4 {  U2 j5 m8 e* w高手们帮看看是神马原因？
! D0 H( W0 T+ R: F# g) \1 g

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
. M8 G, i& K& g5 K+ n/ ?; N-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
6 Z+ ^9 U$ }9 j1 a1 f算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
1 {" m8 H1 l7 b2 y+ [没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
/ i/ h: r2 K: M& `: @* g+ A-------
4 q& @9 K9 F3 z0 T6 ]* O/ P9 W不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
) `% ~/ a7 Y/ [. G3 W9 q, {4 s我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
" r! @! q" p$ ^5 l我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
7 g4 {8 t9 `, L* D
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
5 N1 {; o! t: F* A
或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
2 I( V4 P- |4 b# ~#y = (x*27+15+random.randint(-2,3)).reshape(-1)
- B; R: ]2 q4 ^+ l/ w& yy = (x*27+15).reshape(-1)

4 g7 g* @0 E, s: [  L6 Z  u- i; l3 I+ e循环次数加成10倍，就看到 b 收敛了
: b1 X' `$ }$ y* G0 _) }w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。