继续请教问题:关于 Pytorch 的 Autograd

雷达

8 k: ~4 O. |9 T* f, R* g6 X为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
( L) n# O* k) a/ Dimport torch
import numpy as np
5 }% i: Q7 ~1 |5 |* timport matplotlib.pyplot as plt
import random
. n& y( X/ ?4 Z/ a1 x8 u5 N
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
% S+ E5 @" S5 J; `/ c
+ q' f+ k. X0 Gepochs = 100

! B/ `8 k/ Z  @; i* [& V; Hlosses = []
/ X& W: a* y8 t# C: ^* C; w. Kfor i in range(epochs):
. ^8 k  d4 N; s) V/ q  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
4 a7 @* f* K8 j) k) T
, M2 Z. ~. i$ H3 E, c  loss = torch.square(y_pred - y).mean()   #计算 loss
( G/ K9 }' N5 ^7 F  losses.append(loss)
0 y2 A! z5 s& n1 T9 d  
' o0 ~' v5 i- z/ Z$ C$ H6 B/ s  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
" N! e/ |# G6 C  b.grad.zero_()

3 l" R" n* V+ x1 r) Y. y# G! tprint(w.item(),b.item()) #结果

  b+ [4 |. r# r# zOutput： 27.26387596130371  0.4974517822265625
/ t2 `* t& d. m- F0 K----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

7 [4 O9 ~' m% G( E# C/ @5 {& b: _$ c没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
, Y  ~) B) ?. i- x+ Y0 C& R% N' v; @& d不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
* Y6 a1 |3 L( D) k* k* Q0 x算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
" b: W: D, I6 o8 z$ J-------
! \3 r! }3 k. o1 ]* |不好意思， ...

' H6 H: f/ _: w谢谢，算法应该没问题，就是最简单的线性回归。
2 w. b1 C; [# s/ v0 M; d我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
% z6 W+ k8 H* U+ c( G; u谢谢，算法应该没问题，就是最简单的线性回归。
9 H  f$ ?# C, `5 R我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

, g4 R- c# d" W# P
; `9 v9 H  l$ Z7 V刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; A' z5 M9 N: _- N: v1 ^; o
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
! m2 `* r; j6 Z- C9 q刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
8 R9 O8 O2 g& z7 `' p
* Q3 |9 l- l2 `9 h1 t2 p" m9 [或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
& v/ @, f" y/ C7 {+ T. X+ {#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
6 Q, t& k: m, _* k. J; h  S
8 h  e2 K; }% @" d8 o循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
( o7 y4 {+ w0 C3 K: S) C1 x2 }
2 B7 L9 p/ r! H; h和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。