继续请教问题:关于 Pytorch 的 Autograd

雷达

2 g1 P* b! A4 P; v( ^  \
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
9 @4 \4 v7 P% f8 f# f----------------------------------------------
( w, x$ i- f( ]# L8 zimport torch
8 _/ Q* A7 d' `1 H7 }( uimport numpy as np
import matplotlib.pyplot as plt
import random

9 W0 {' _8 O) _) ?7 L- Q3 Ox = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
' _6 [' s) `1 ^  }# Rb = torch.tensor(0.,requires_grad=True)

epochs = 100

8 L$ _( a; B4 G- a% j* Slosses = []
for i in range(epochs):
0 ]; y. Z$ z& r. x9 S7 M  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

8 A8 v; N" t+ t, C) A  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
( w) D- i# L% V" w! }  
, ~) d! g% a* `4 k" X% z  ?  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
, @% x" k) @0 d    b  -= b.grad*0.0001    # 回归 b
9 ]8 e" B# W: B8 N0 p- p0 h  w.grad.zero_()  
. U* G: v) C2 e: X( l2 W5 F2 c  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
; L- @5 ~( I' @1 \7 L5 }高手们帮看看是神马原因？

老福

' u! F8 g6 _8 X; Q0 A+ e& s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
' ]  K% W9 d5 u-------
" B9 J# i+ w4 F+ u/ z不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
# t5 X6 n( o5 f算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
. F8 Q- v. q- X7 N& k' X4 E不好意思， ...

* e9 x6 X: X2 ]# a0 n8 C* }8 z谢谢，算法应该没问题，就是最简单的线性回归。
+ f% z2 m9 I, F0 b- b我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

, M3 N9 S! u. }; n4 w

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
% B8 r( W- S' V. p9 C我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

! {) _3 J* \' [3 S# Y
: K5 w/ w7 y5 n. v; Y刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
9 D( p. B1 w& _- R! w
" E' c3 k' U5 R+ K4 x或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
+ E# _2 ^3 I7 H/ |刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

; i8 ]. K5 |( J& N& @或者把b但的起点改为1试试。 ...

2 ^  ~7 [3 E& s! H( W6 e6 ?* i
你是对的。
( J  h8 f, N. b/ |9 o8 a) Z去掉了随机部分
( h1 z' _+ U5 N. E1 U- x#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 ^& i0 [1 {' C; \8 By = (x*27+15).reshape(-1)
; i( p1 }" ]1 b4 V2 t+ U9 ?
$ G6 R9 ]- x  b9 S) L: U9 z循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

1 ]- D. N1 |. U! e% {和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。