继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
) @+ ~* I. L9 m; ?# pPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
9 K6 s* C" \, Mimport matplotlib.pyplot as plt
import random
: S* w' z/ v9 K' M) c! Y! R. _' H- d
x = torch.tensor(np.arange(1,100,1))
9 D% ]4 q5 c) g) I% b2 P3 f, V  t) N" _y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
& f" d# D# o: g! `
) O7 i( E5 B2 ?5 j4 Uw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
7 U1 }2 z+ K" H, ab = torch.tensor(0.,requires_grad=True)
$ B4 _1 \7 v! j( M# O. P
5 y8 L9 f8 I5 w* x- i7 Uepochs = 100
" ^; n1 r* `& E
losses = []
2 Z. v3 E1 ^1 Y" ]5 z, |0 v* vfor i in range(epochs):
/ T8 ~% L# e3 j  y_pred = (x*w+b)    # 预测
$ R/ V2 b, Y$ E( o; O5 l$ N* {  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
1 R6 h1 T4 H- P2 x  losses.append(loss)
+ I8 {4 [1 p( `0 m$ W  
4 k6 c: S4 ]1 A  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
1 S6 f9 P! @4 M  D. G! O" u$ B; i  w.grad.zero_()  
* _( ~4 \! ^2 s) m  b.grad.zero_()

print(w.item(),b.item()) #结果
# O7 Q2 c" d; \& K* G9 s  N
Output： 27.26387596130371  0.4974517822265625
1 q% T3 ^# x8 U( f----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

1 F9 J/ x. ?# L7 v! k没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
5 T3 G( Q1 n8 i$ Q/ ]不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
4 p! M2 t/ G! P" j7 I-------
9 H* Y3 _& n1 o* f算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
* ~# h5 Q2 ]! X$ ~: ?谢谢，算法应该没问题，就是最简单的线性回归。
9 H* \- [3 |7 a9 \/ C: ~我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

4 n# N, C2 S. A0 i" `& S/ ~) Y
& c+ e- U! G% i$ G/ W刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
8 Q* W0 A& B) t1 f
% O5 K; y4 j2 G8 G7 E或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
* L, O8 ^7 U9 w9 P! W刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

4 o1 S9 x$ @( ~' g你是对的。
8 N' O1 Z- n% {4 V6 M! _去掉了随机部分
( L9 \; w! r5 X% O+ u+ ~#y = (x*27+15+random.randint(-2,3)).reshape(-1)
0 o! o5 w) d  O. n- v7 D2 Q6 py = (x*27+15).reshape(-1)

7 v( g0 k3 @/ u( c循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。