继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
2 M+ |: U+ d" y----------------------------------------------
* }4 U$ B4 A# p) j" h+ Cimport torch
& B; U+ s: E7 Bimport numpy as np
( x, s  B- l3 d9 Q9 U9 Uimport matplotlib.pyplot as plt
import random

  S# k5 M6 ]3 Q+ m3 l+ k: O  H' i; }x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
1 e$ Y9 _+ T, X3 n) V1 \
epochs = 100

7 y9 T" n4 h  h$ ?losses = []
. d( |% B  H& ?9 n3 Y8 }2 p! J0 x  Sfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
$ t3 f, `+ {! W8 |( ]/ j/ }2 d
! c8 P4 R$ n9 y2 h  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
% V: L5 P: m3 e0 c2 m5 v$ t+ J( {  
0 \( ~" `* r1 }! X$ }9 ]8 D  loss.backward() # autograd
8 ], d1 P1 y9 G  ]/ ?( M$ X4 r1 ^% n$ ~  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
1 {6 S' O" {$ i& G2 f/ A) @" V  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
( q6 R( ?. R; e1 u1 _
1 |, F5 x: e* y/ {0 Y9 `Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
8 c* ~/ V) _) u' r3 z最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
( H0 @' P' w- n4 g* i& J6 U" g/ ?

老福

$ b' Y5 J$ A$ i: k0 C: _- Z
; X( ^- R9 Z0 |8 |5 L没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 z8 w9 c5 v+ E/ X-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
% g& Q, k  i: n0 ^( F# T+ n-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
" \) \( I6 t% U) X' z. u( i3 j& q1 E8 A-------
) I/ H* }( Y1 A- f不好意思， ...

" q. z4 l4 A6 i: e" p* K谢谢，算法应该没问题，就是最简单的线性回归。
6 j  }- ^9 n, g3 F8 V我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

* j& `( C7 a$ D9 ~& r或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

1 e1 s. R0 G6 q1 q" V1 ]或者把b但的起点改为1试试。 ...

" c. x# |; j6 h! M: d+ z( `3 e0 T
& J: h/ P( O( i# o2 U! b3 c你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
3 R/ R) ~* j) o) M2 V1 S3 a( Dy = (x*27+15).reshape(-1)
1 p6 X% m- L6 ], k
, P- z/ v" A3 H6 |循环次数加成10倍，就看到 b 收敛了
) `- j& r& R/ O; L5 c' q% s- Z+ O, ww , b
27.002620697021484 14.826167106628418
, s8 s+ T8 N- _) ^2 R) S6 b
4 b# m* w0 _- s; O9 x) z4 p. u$ Q和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。