继续请教问题:关于 Pytorch 的 Autograd

雷达

" Y, l# ?0 u: e3 a
为预防老年痴呆，时不时学点新东东玩一玩。
+ Z8 f: U- J* p' ^) {: @, y# {Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
6 r- }) L$ m1 Q4 R* f9 |5 k; fimport torch
import numpy as np
import matplotlib.pyplot as plt
import random
/ N- K1 E6 w; @4 h& u7 R3 v( Y+ D
x = torch.tensor(np.arange(1,100,1))
' j. P5 q/ n& L& L/ hy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
0 y" c$ T' a" m/ U6 p9 ]( ^( t7 ub = torch.tensor(0.,requires_grad=True)
# A, H2 U2 F4 [6 S# t" F$ }
% Y9 P' d2 O4 {epochs = 100
+ a, N: J( L  I: M; N+ u/ L! F
losses = []
for i in range(epochs):
0 W6 S; D- R* K& Y) s  y_pred = (x*w+b)    # 预测
7 j: O& v. e8 h) M  y_pred.reshape(-1)
) d. L( O% K6 O4 P+ e: H' o- B) E1 b
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
+ |4 `, q3 [. o$ x  loss.backward() # autograd
0 c. O, a+ A& [# o  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

& K) E: [' W' Y+ a! gprint(w.item(),b.item()) #结果

7 ^2 R5 H/ i) c. i/ D1 YOutput： 27.26387596130371  0.4974517822265625
" k, U  W# }- A- p- W----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
1 H. S5 }; o. z1 a8 A

老福

5 t0 F# T# d7 X7 I8 u. G! w3 {& e
: V, |% Z) q5 {: b6 h没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 c4 z7 l) B) I9 ~-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
2 ~9 w7 K* M7 M5 h" X. X4 m5 p-------
4 ^1 D! x) Y( \/ X算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
. V) T" B# S' A, V! |2 e我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
4 R# ?! A+ E) k5 `# q谢谢，算法应该没问题，就是最简单的线性回归。
" d" R: ^" n% ?0 n0 ]2 H我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
2 S* X) H0 o/ E% e& l
% n3 i, G7 C4 K8 n* G; F7 S- H或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

+ I+ D. s6 R/ H  y或者把b但的起点改为1试试。 ...

1 P5 o! S( ^  d- o
: O" T( G- W3 S2 ~9 f2 V- d7 M你是对的。
去掉了随机部分
& f5 x: V6 ?% A, g! ?$ E- R/ F#y = (x*27+15+random.randint(-2,3)).reshape(-1)
$ O# T4 N' g1 N2 Z' Z, k  k6 Ty = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
: g' k7 _2 ~/ B; ]( B27.002620697021484 14.826167106628418
9 @2 F" ~' Y- a) ^2 `
( T9 [6 E, }9 n. p7 N和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。