继续请教问题:关于 Pytorch 的 Autograd

雷达

1 T- N- R& e/ Q2 D# }) p, G: h
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
: ]8 W, b* p& b) [# [----------------------------------------------
import torch
import numpy as np
/ m& F3 G. ?2 k& ]9 Yimport matplotlib.pyplot as plt
import random
+ }2 w) }8 A+ x3 r9 |- I
/ D, h9 ^) x# c) l( L2 t3 s. H$ \x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
" I& a+ _; l; W( Z! u) Rb = torch.tensor(0.,requires_grad=True)
" [4 |/ f. d$ A
/ Q: Q  \# s' ~9 D# [epochs = 100
4 |; U- s$ p" C* t- U( f" ~# n5 \: i3 G
5 M. Q/ \! A1 L1 u7 p9 t8 ]- c  Mlosses = []
for i in range(epochs):
: i; B4 U6 x  o3 Q, m9 ?  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
4 d( \5 U* U  t( m, Z' F; F  loss.backward() # autograd
0 D$ W8 ~" s+ ?% D  with torch.no_grad():
7 x; C( P' h9 V9 o8 g" V: q' v    w  -= w.grad*0.0001   # 回归 w
. X& P, R5 M1 m& w% D: U; w& h    b  -= b.grad*0.0001    # 回归 b
; ~, m- Q6 @* Z9 ?  w.grad.zero_()  
1 |6 v+ \, O0 X4 r7 y9 `) i: x  b.grad.zero_()
5 k# N9 \, r# x' v  s1 S
7 E3 ?/ [+ r5 J) q! s8 kprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
* _8 t- J3 M: P4 o: J3 @----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
) ^7 M7 C( i, w: b" {9 j# Y高手们帮看看是神马原因？
$ Z1 h" C6 D$ p' u! L0 h4 T( L5 n

老福

8 R+ v* Y7 i7 T; A7 l9 M
6 h8 E3 h/ h* M+ _没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 C" Q3 V4 B  N-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
6 ]+ E2 L, B& p. }9 `" S5 Z算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
. r4 g% Y( \& i1 v$ I& P没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 i8 g6 z7 ?; R-------
- @! |9 G1 Y" g) r不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

: q  u* R; D" O+ Y

雷达 发表于 2023-2-14 21:52
' M* w: Y; @# [. @$ r1 I谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

8 {4 G& J6 D1 T# T
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
( X6 Q- W' l) Z$ R
或者把b但的起点改为1试试。

雷达

+ h0 b2 E" Z9 t* d  ~9 ]. ^& ~

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
+ N9 T, O. o7 s, [0 D/ A7 }, d, \
: f/ H+ A4 [2 `; N+ U或者把b但的起点改为1试试。 ...

  h/ R/ c8 V- g! H! {+ G
6 N/ @: R0 Q4 U! X你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
0 B0 G: X# ~2 L6 p; `9 N, s# x
循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。