继续请教问题:关于 Pytorch 的 Autograd

雷达

8 l' A5 [8 r0 G$ d. _  p
+ l. t) t; Z& H6 N" S) f为预防老年痴呆，时不时学点新东东玩一玩。
, D5 l- I! k. Q+ UPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
! Y+ S9 B2 l& cimport random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

! B4 j' i5 g7 K0 iw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
* j2 q& I+ U, @) V4 A6 I2 `) {b = torch.tensor(0.,requires_grad=True)
. S& L8 b7 r4 }: t
epochs = 100

: ^8 G7 u- B; n3 E$ Ilosses = []
  T& D  C1 n( ?; l& F7 Ofor i in range(epochs):
/ i+ C9 c# X% R3 D  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
& w) G: J% B0 Y6 @& O2 T7 T
$ b# K9 v8 }3 I1 z  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
; Y; }2 j9 l) ^' y3 O0 B  
1 b9 q1 c( i8 a% X- y. c  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
3 {- t9 b" r7 D8 T9 D8 C6 r    b  -= b.grad*0.0001    # 回归 b
) V6 |4 Q! W3 L  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
1 V" F! @0 p) m9 C& E
Output： 27.26387596130371  0.4974517822265625
3 V' d  m) y( n5 I  c, U/ e----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

4 n$ R. y" B  k2 }8 s
. S" u( m9 [1 V+ a) n9 E没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
5 I' @7 h; x4 q4 X  R& v-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
2 F5 q8 X' K  I/ Z$ O; z算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
* Y6 B, I5 v' m# l5 {* r7 @& [-------
不好意思， ...

* V# P8 ?- k7 b9 K* G% i% q# z谢谢，算法应该没问题，就是最简单的线性回归。
' x' o. P5 g1 j3 L我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
# |2 b, Y) ], D2 D8 |谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

4 y' Z0 q- ^# k3 h
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

6 Z  \% x4 t% B+ X8 O, a8 {或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
; P8 T% n! C, Y" E1 {, s刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

4 B' b, z; J0 `% F2 y- Y0 D( y或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
5 Q- d7 p! v# W: }6 G#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
: e2 I9 j( |8 `% j- S- x+ `- Sw , b
27.002620697021484 14.826167106628418
, ^9 z1 W  C% X7 b: [/ ^. ~  E
! A6 {7 N$ w0 r5 ^, n和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。