继续请教问题:关于 Pytorch 的 Autograd

雷达

7 x) V% }' U) m: u为预防老年痴呆，时不时学点新东东玩一玩。
4 k- Z% V) S% @& z$ i- y! a( zPytorch 下面的代码做最简单的一元线性回归：
9 Q! Z8 k. h6 p: X9 r----------------------------------------------
import torch
) h3 z4 F( j+ X5 H; L6 g% ?: Limport numpy as np
import matplotlib.pyplot as plt
* w; n  d% D. V$ o/ U2 ^# t5 ]import random
- {9 ~3 }! B' f! s# J! O
" K9 B. |$ s! V6 B4 k  l! {x = torch.tensor(np.arange(1,100,1))
9 @  {8 t$ R+ v( py = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
4 L; q$ L  ~5 E5 ?  o! t2 Y* f
" F% J; E* @" h" Z& r' U/ F# }w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
5 q9 o& c. i$ S7 O
epochs = 100
+ t# H' {& \2 d, s
losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
+ Z* [3 o) Z3 i+ D+ Q
# s' h" `; Q; C- i9 \  w  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
/ ^) ?4 j/ h. s7 m% {  
  loss.backward() # autograd
$ r, {) r* n: c2 s" e  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
( W2 n( B6 b9 l+ f2 z9 r  b.grad.zero_()

; ?8 D, J) E# o/ F& H7 E& a5 t9 w8 wprint(w.item(),b.item()) #结果
. R7 u' S7 ~) f( `
+ z1 h9 j- z% m8 Q: j' F" XOutput： 27.26387596130371  0.4974517822265625
) o3 U: `5 P" C5 I----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
8 q* a) h$ l2 E1 x+ C- e4 t

老福

7 _% k9 f( D3 f, p/ U8 a4 E# }
" B+ S) A) v) ]' Z9 \( Z没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
9 P( ?, @1 C. j9 o- o0 D6 \-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
$ s- h5 g, ~* }# Y算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
- G% k. e7 r0 ~# a% M5 ]6 e没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
  U% y+ l8 Z+ ~-------
不好意思， ...

" a/ y) A( x/ `" ]: D( C谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
% c' z7 k, U5 V8 X我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

: @. |1 }) x# E2 ~. Q+ t
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

+ l: B) u  J& R; j! ?; R' Z/ T或者把b但的起点改为1试试。

雷达

4 ^" N6 F5 U% ]% a  @1 d3 h

老福 发表于 2023-2-14 22:00
9 O4 i3 w/ \  d+ Q- c# @7 _刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

: t4 g' Z0 Z1 Z或者把b但的起点改为1试试。 ...

& U  H7 U+ \- M0 r你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
3 X  |! k* h/ `) F( `. N# _
% o5 {0 b. z" A8 t, @9 N循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
! p0 T- y& o! s2 ~! y
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。