继续请教问题:关于 Pytorch 的 Autograd

雷达

6 l8 r1 v& j5 x' p( {/ x( T1 q
为预防老年痴呆，时不时学点新东东玩一玩。
) p  U; D, |* e2 i8 |0 |  A% jPytorch 下面的代码做最简单的一元线性回归：
. B, ^% z3 t" G1 U" g* R----------------------------------------------
import torch
$ ?  z  G7 y; J# p7 t, ~import numpy as np
import matplotlib.pyplot as plt
import random
3 W! q9 a5 r" ]7 e
0 t( H" n" r7 [. vx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
$ ~2 J/ E# f2 H9 [" e, J
6 r* t9 p7 k5 K9 }% sw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
1 J# d. B9 o: ^( g( O9 S
" r0 Q( g0 [$ q1 h; B3 j# c0 L% Fepochs = 100

% L) V3 n' ~5 s! A  ]8 D7 T. a! A: Blosses = []
7 B% i5 E" U$ y! c. Ufor i in range(epochs):
  y_pred = (x*w+b)    # 预测
2 \/ x( n5 M5 Z! v( E: {  y_pred.reshape(-1)

- P/ e1 i$ C( f# s( C0 ~  loss = torch.square(y_pred - y).mean()   #计算 loss
2 t! z% x/ G# N/ ~$ D0 U; V9 G  losses.append(loss)
3 i/ }: ?' r7 U5 R! C  
0 A) n' Y+ e) e/ u( y1 ~9 W2 t  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
" R7 t% V7 u9 h* k) G0 Z
print(w.item(),b.item()) #结果

* Q) j1 \6 `: z/ aOutput： 27.26387596130371  0.4974517822265625
) h% E* t3 O4 d' @0 m; K& @! u) {7 V0 p----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
0 n' P* l) b  z- A" W/ V高手们帮看看是神马原因？
8 Q3 Y( x, X$ `' h' V3 c! G. W

老福

3 x9 c& z" U  a% s; B
' C) c2 p9 H9 I- C: C" }没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 B. Y: u/ R" f/ K) o, ]-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
% v" z) U+ F# X2 B没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

) a3 e! S8 v/ E" {+ E8 q) J& w% {8 ^谢谢，算法应该没问题，就是最简单的线性回归。
. z! o- y; l, L( Q" p我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
  U1 t/ U  v* G4 c7 Q谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

: d' ~3 x0 E! J3 B6 o
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

1 w6 N: p. u0 V, j- P0 q

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
# c! v$ ]1 f& i9 }$ z" c* d
% s. K6 D1 `# @或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
, r3 B  s8 f: i% Y5 t#y = (x*27+15+random.randint(-2,3)).reshape(-1)
0 N8 s3 U& A3 `8 G$ a2 X/ U7 ty = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
( X- \) U; Y3 Nw , b
# z% H; b+ K6 g( f* Y27.002620697021484 14.826167106628418
: R  b' F$ x) e. D" J- p; X- ]
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。