继续请教问题:关于 Pytorch 的 Autograd

雷达

; @5 l. ?0 I' {/ g+ J' M2 p为预防老年痴呆，时不时学点新东东玩一玩。
- K5 [1 J$ o$ w$ A! d: @Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
( [. e: ]+ ?0 f. I4 ~1 [import torch
import numpy as np
# ^3 C! H/ X" W7 i6 x; e7 Qimport matplotlib.pyplot as plt
import random
, P9 G# a5 Q: h9 G' \
x = torch.tensor(np.arange(1,100,1))
5 f9 a# P$ L* s) ly = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

& A& U4 `8 I; j$ G7 Xw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
5 X, u& e5 u" w0 ]3 i2 {$ E9 Vb = torch.tensor(0.,requires_grad=True)
" n, A& S0 [+ l# \4 o
epochs = 100
% v* E. O9 X% H& u+ U5 B8 L: p1 X9 s
losses = []
for i in range(epochs):
- o: K" S1 h/ _1 K  y_pred = (x*w+b)    # 预测
' s! N7 n; R. [6 t3 o2 T( T. M  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
0 F- N; [" Z  O$ k. H) A  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
% w8 m+ {/ D6 G5 x, ]    b  -= b.grad*0.0001    # 回归 b
" C7 b- S8 n# n  }' X& ^6 u  w.grad.zero_()  
  b.grad.zero_()
4 d/ i( V2 p  j$ v
5 j1 v+ j# {9 r) lprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
+ \: v$ Z# t. Q8 H0 b5 s最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
6 I9 C8 }* W/ n8 G% |) S0 E高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
) \' l/ v( e7 L2 s-------
2 Z# V7 }% b" Y8 W; i& T算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
* Q1 Z0 i* J% `2 W  U-------
+ w" Y: a1 u5 J" p% O不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
- Q6 `, w' h$ L* ^9 n我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

/ A$ \- T: O9 u0 F7 \0 v! h

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

# O$ s! u0 `/ ~刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

% F- l( l/ e# e4 O或者把b但的起点改为1试试。

雷达

- ^& E$ b7 d0 L

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
$ \/ a* j' l/ A4 U# C, w- v
或者把b但的起点改为1试试。 ...

9 l8 r. F0 i2 A% u' z4 p: Y
, h: B& n* E  Y4 d7 v/ |' {你是对的。
去掉了随机部分
" O9 c9 X$ |8 ]4 q/ ]. B#y = (x*27+15+random.randint(-2,3)).reshape(-1)
0 T. [, Z) l0 i9 F4 f7 W$ sy = (x*27+15).reshape(-1)
/ C" Q. ~% R" h7 w; L8 k. G* B3 N
循环次数加成10倍，就看到 b 收敛了
4 S0 f# a/ T7 [3 Z' b/ ]  F4 {9 u) aw , b
27.002620697021484 14.826167106628418
" I% E/ L2 g: Z1 h( m  B+ O
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。