继续请教问题:关于 Pytorch 的 Autograd

雷达

# ]- N3 T% M: z8 R3 B" W! |4 }
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
0 l0 P6 `& f, Uimport torch
; ^* y+ I0 Y6 d0 a3 }! w) Q/ a. ^import numpy as np
( i  C/ N- M( t2 r* H& w" oimport matplotlib.pyplot as plt
import random
* _4 u. v" n1 D$ s3 D
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
8 y6 A" N2 J% A" b0 Z
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

3 e* {* ]5 p& T/ B' k2 r& f6 s7 ?epochs = 100

' L& n9 B( Z+ alosses = []
for i in range(epochs):
$ ]% e' K; G: e# M. Z  y_pred = (x*w+b)    # 预测
1 X/ _% V1 t$ l2 _8 F, Q  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
' ?# ~7 r6 O2 K% L) H# p  losses.append(loss)
- H5 D$ U" e/ A9 B1 B  
  loss.backward() # autograd
  with torch.no_grad():
% ]/ f+ L, [' U% Y7 G' r    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
1 w% B+ f! i, I; [# R: s5 o  b.grad.zero_()
0 y, ~3 e( n1 a. i1 P4 s
print(w.item(),b.item()) #结果
/ V- f/ Z: K' V3 `* f8 x/ s
Output： 27.26387596130371  0.4974517822265625
) }$ W  K# I8 z" E: D% l. |----------------------------------------------
# R9 t4 D* S% }1 K最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
* R3 u. ^9 y- S3 N5 t' J5 G* y高手们帮看看是神马原因？

老福

$ X# \# I( b# H( K  R5 y* ^8 Y0 V4 |没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 G! Y2 s( J) g7 p-------
: U& K. g# N' w( ?不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
" w+ A7 H" h; w-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
: k, O+ _4 n$ T& W9 k1 B没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
, P' F. b$ r( i不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
% W: k- q5 l( {9 k  g我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

  M. X" \) y0 p, H: L2 k# _) p

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

, }! V7 M, h6 R( f: R3 H" ]$ I, Q
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

3 i) g/ f' ^$ B9 r" h

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

6 [& X0 u  m: a4 k- d
你是对的。
% Q) ~( N$ T: q5 y  Y去掉了随机部分
  r0 T8 g  r5 G: M#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
) P$ e4 N; |* }' v
循环次数加成10倍，就看到 b 收敛了
- ]! V2 ^, c, S+ g! x- c# d3 Gw , b
& c3 {5 z% P, J( o27.002620697021484 14.826167106628418

, F7 Y- l' x  w! U# f和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。