继续请教问题:关于 Pytorch 的 Autograd

雷达

! ?( ?. u. |& _( U为预防老年痴呆，时不时学点新东东玩一玩。
. U2 U: w* s9 z: `' m/ ^Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
' Q( G7 y+ O0 b8 l: q0 Fimport numpy as np
import matplotlib.pyplot as plt
import random
; s- A1 F9 c' W
- y7 [* u5 |8 C1 ix = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
& T. ?* p5 L& k+ Q# o* E$ I
% @0 J! O5 Q7 U/ G, J! n, vw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
8 g1 _/ u+ n3 Z7 Ab = torch.tensor(0.,requires_grad=True)

epochs = 100
8 _) j3 L2 S; n3 C" z5 ^- Q
# b% E# x' z! k1 g  y- Ulosses = []
0 T( ?0 X+ P$ @for i in range(epochs):
5 H6 m1 Y; O# m  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
# m: p) ]3 C& P1 c2 ^6 T7 [
5 ~4 r$ C9 ^' F  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
, G& b, |5 d! d0 F1 v8 `  loss.backward() # autograd
1 Y3 N- r0 z' |" z1 K4 {8 d  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
3 x3 m0 k5 Y+ t$ }) S; l. W  w.grad.zero_()  
  b.grad.zero_()
* \2 ?* G/ l" S# r  K
7 L6 R' ]; V' q/ hprint(w.item(),b.item()) #结果
! G# ~2 v! |8 a4 o  m$ F$ X( }: v
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
! m8 Y# W3 b% L# y* ~) A高手们帮看看是神马原因？
  j! |6 j) U& g: T

老福

1 x- ]5 ^+ m* Y  G# d没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
# r" z. i5 R! |' ~-------
: s9 G9 c9 L8 h0 z算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
# r1 A. Y  t1 Y3 M- G+ M没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
4 S# V  |" r: C4 w$ ^7 c& }-------
- h7 C% F- T9 s0 V7 e+ [$ B4 b不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
+ s. H+ H5 [* Q" Y& p我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

/ ?" Y; E$ v, o, N% m

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
. T0 x5 _+ B% ~+ o  ?8 u
! z% E, Q' X3 M( u7 V+ t2 H或者把b但的起点改为1试试。 ...

1 [* X8 I  q2 M# O: z5 c) \$ f
+ I# K% U/ m0 C1 t$ z( g你是对的。
! }& o. F1 e7 x1 J  o8 I去掉了随机部分
5 F' N" U" h: V1 o3 P#y = (x*27+15+random.randint(-2,3)).reshape(-1)
3 O' B+ r" X# C1 Ny = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
  u) R* X( D' qw , b
% t: ]  X, M; |. `* g27.002620697021484 14.826167106628418
* _! |7 ]: J" K: a) h0 Y) }# [" ?- @
& o& Y4 B% L: k. I. n3 @和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。