继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
' B8 k' [9 |0 |/ g- Uimport torch
2 W  ~/ m0 t& J% pimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
: ~1 T* F, c0 j4 Y5 J. n8 h* ~5 U
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
' C4 ~4 `: |2 [6 Eb = torch.tensor(0.,requires_grad=True)
5 T. a* m1 f3 N8 ~! l! R" g
epochs = 100

3 L( n$ v: W8 x; Z' O$ {losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
! N% F  H8 {* {  m3 S- K  y_pred.reshape(-1)

' e* f! z# T6 \$ }% z  loss = torch.square(y_pred - y).mean()   #计算 loss
* A/ g9 M% J8 K  losses.append(loss)
% m1 T5 c5 N/ a" R! X4 J' i  
8 b; |" |* Y5 {) ^& A9 q- J! w  loss.backward() # autograd
; s! z' O9 H9 t: U9 y  with torch.no_grad():
" ]& s7 b, T+ L! q    w  -= w.grad*0.0001   # 回归 w
: p/ a. E2 k) E2 V. R) T0 B- @    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
( y1 ]- Z5 q! @8 k6 e! ^  b.grad.zero_()
& @, p# f* S4 Q9 h6 [4 `& s
* x! n: H6 n2 x8 K& O. \; R- Bprint(w.item(),b.item()) #结果
- F3 e* y' F2 O* z9 Y# S# Y# _
. L* Z; g2 }) d" s* |# OOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
2 k% T: i. o% ^* }6 L, V6 V最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
* }( y& {- i+ W" Z8 T高手们帮看看是神马原因？
% A9 [: j) j3 p  h7 p: H- b

老福

9 C  d& [0 Y- j  B. Q9 I! Y
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
: u7 g& ]$ I/ q6 k: O5 {- q; J; Z  w  [不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
6 b6 G# |8 B( e5 C" n没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
8 N' I9 }% I( ?' a4 w* W8 P( v4 ]6 m不好意思， ...

4 X, z5 Z% f& ~' |' Z+ E3 A谢谢，算法应该没问题，就是最简单的线性回归。
4 w: B+ J$ ]" p$ ^* \2 t; }, k我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

+ y8 _0 }) L; q

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
: ]: a/ t$ U: L我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

) c" a# t6 ~. C: H5 N
$ W% }4 l; ]2 i$ N) u- s刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
$ w/ r" W& t# u. ^' P
. U$ o5 z, S+ U( x7 B或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
/ D+ ?' c5 y+ i" X) x3 l: |$ {+ ?刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

% M$ q; S: G$ n4 P& P! g或者把b但的起点改为1试试。 ...

, J5 q  T( o0 m, y8 Y4 o你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
: D, D) _* E) r3 p/ ay = (x*27+15).reshape(-1)

: o2 \6 z- b6 g1 ^& M$ ]. A. u9 j循环次数加成10倍，就看到 b 收敛了
w , b
* x; x- `+ T7 W0 D' h27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。