继续请教问题:关于 Pytorch 的 Autograd

雷达

  w, U  ?9 p0 k( n6 Q2 F
# Q5 n/ e! n# s4 w为预防老年痴呆，时不时学点新东东玩一玩。
! }, c" ?2 Q7 v4 X* t4 zPytorch 下面的代码做最简单的一元线性回归：
* o' W# e# n% y7 v----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
import random
: H) G2 b! C( T4 L
2 n# A9 U0 x$ ^/ s" lx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
! h+ m4 `# i$ C, d2 N0 X* {! t
epochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
1 m/ Q4 |8 s7 L6 e) P; K* l  
  loss.backward() # autograd
9 R8 G0 S8 r2 q, U, X  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
# {  L  S% h$ L+ F+ e    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
# ]6 u4 o/ T. {. p3 x  b.grad.zero_()
+ p0 q$ @* _$ X/ A$ y6 P2 D. d% r
) Q/ o. g1 S0 i9 M5 Dprint(w.item(),b.item()) #结果
3 N' r/ D8 }3 q* ]3 b9 [# Q
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
( f1 [6 O2 |8 U) j7 B$ k高手们帮看看是神马原因？
3 x. K; r- ?* K+ ?2 I9 p

老福

9 {  p) y6 p9 \+ u' [9 Q
( x+ \& a* x" Q7 \没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
% V1 H  P# Y. D7 l, ^' c4 t不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
2 @  |0 W. b; }. p+ b-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( `, B" G% @0 d/ V0 X1 J: A-------
0 C% ]3 `/ @6 s  T# Y" {9 p0 D不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
3 S8 Y9 G# u% i1 D5 O) A( z谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

% F' m/ M3 L- l* N3 \
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

. B  V5 ^' m% t- B或者把b但的起点改为1试试。

雷达

1 w5 [- s( B- B, f5 H9 i; w2 K+ ]

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; d1 B) R3 m1 v+ M4 F2 ?
- C9 p6 N2 a& l7 O7 d. i或者把b但的起点改为1试试。 ...

; q, w# M: K: u' h8 S
你是对的。
1 r8 E" D6 t/ A1 M去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 t6 K; z* _! Z7 W2 J, i* M4 j0 Gy = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
! S/ o4 V% h" M( M; D$ _4 Mw , b
27.002620697021484 14.826167106628418
# y+ Y0 s$ }. q/ _% a
9 M; }6 Y: C) a! G, e+ ]和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。