继续请教问题:关于 Pytorch 的 Autograd

雷达

9 {, [& D( F8 X1 D' w
* r$ X; W5 H5 N, I" U% G3 i为预防老年痴呆，时不时学点新东东玩一玩。
% t, w4 r; s. ^8 z& YPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
6 I+ U! d9 j7 W& e) @& Limport torch
import numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
2 n) M1 f: C3 y& x
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
/ x5 `5 ~& P! z4 Z: o! x$ r# m
epochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
+ u6 }  i; k, t$ u  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
* i. I2 a& o( P: s" x5 L# j  losses.append(loss)
2 O/ x' f9 C/ J) P: V  r8 d  
  loss.backward() # autograd
& K: D4 {( a7 L& K% A7 b* Z  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
8 u  P0 o& _4 v' G3 E1 _+ t  w.grad.zero_()  
/ S8 I- S; c5 H# D5 K- o/ O1 Y  b.grad.zero_()
7 E9 r# `$ q6 V$ P/ u
print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
; G& t# U) u' c# g  q- ]----------------------------------------------
, l2 D' p! m1 x8 b最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
8 ~! p! d7 b# Z" S3 }不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
, j& a, c; q2 I' k7 Y算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
7 {7 ~& s" k5 `+ x" x1 h不好意思， ...

8 ]6 b5 e  p5 L' m$ |- [& Z' r谢谢，算法应该没问题，就是最简单的线性回归。
2 r  I/ V' _6 a! Z# X: `4 T% \! b我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

- M0 N* H  M) r3 l0 n

雷达 发表于 2023-2-14 21:52
  v5 q# r: g) ~3 h3 q, a6 `0 N谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

4 f  c: D; Z2 I, G# V. c
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

1 Y. c0 o8 K# ^/ c

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
/ A- ~; E6 B( S4 Z& s  B
* {' K4 E8 h9 h( H# t或者把b但的起点改为1试试。 ...

6 o) _% |( a: q/ e! l你是对的。
/ O$ }3 q" ]+ ]) C去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
, G1 g" `; o& ^- c0 @y = (x*27+15).reshape(-1)

) t; A" L4 c7 D  Z循环次数加成10倍，就看到 b 收敛了
1 r. P+ m% E, {" k0 lw , b
27.002620697021484 14.826167106628418
( E/ R% B' ?5 X6 R
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。