继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
0 @; a) J. w5 [' [Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
- U5 ~/ M+ q2 W; Iimport torch
. c8 j. j/ b7 H" q! d5 E5 Yimport numpy as np
import matplotlib.pyplot as plt
+ h6 ?! Q+ L3 V- l2 @# R) jimport random
: l$ _2 j) U( u0 Z  M( I
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
9 @+ P3 U- O( D' n* Y
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
+ t, j; V. C* B$ [5 c8 Rb = torch.tensor(0.,requires_grad=True)
7 }" n0 ^& e% _* V' q2 z! Z
3 Z. x: _7 w+ P0 V$ Cepochs = 100
2 s% I5 m/ L3 }. t2 C5 c
; B" {: [* |' Y* D- ylosses = []
for i in range(epochs):
0 E; l$ |) {  w3 j3 T  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
! T2 D8 b7 F2 `. Q0 j% F! c, d  losses.append(loss)
  
" }( q, i6 d- B1 h/ m3 v6 V: l2 L  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
* ^# n1 \  f4 ]0 x" V& X    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
! e6 I1 A3 Y/ S
1 F5 A, S; _+ t' Y( r* }( iOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
8 ?+ o0 ~. f) D" c最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
4 [* i4 p) Z: x9 |% B高手们帮看看是神马原因？
  `7 f+ b: G4 j6 z0 x) k+ ?, l( U/ f

老福

' X5 D  r8 ]' A) {9 \
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
1 a# b, V. `1 j3 I/ a. Z-------
, u7 f  R' W0 D" v不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
. C4 v4 q/ j" J4 J$ e8 F-------
: i3 z( D3 ?; j3 F9 ]3 D算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
1 ]" s6 W; [  Z没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
8 s7 e. C1 z* \6 k( ?; ^9 p不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
: `" i" j. i; o. K! b# l& o7 N我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

: C8 m2 n* Y7 Z9 p% Z5 A

雷达 发表于 2023-2-14 21:52
' O+ d3 N1 U  T3 C1 _* `6 R谢谢，算法应该没问题，就是最简单的线性回归。
( T# W" r' M  C我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

9 u3 m! W4 @+ ^1 N3 O2 B' N
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

$ V, t/ G9 Y6 R; w5 P+ \" {- A8 b或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
' V) N6 j2 j0 X! q9 a, b$ m刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

3 A+ y- X, m4 b, u& H& j# e5 A8 L或者把b但的起点改为1试试。 ...

' v. h& q5 }- B2 y' C9 O! y
9 a  F% N# O3 l  @9 f- R你是对的。
# I/ _" t* ^+ |/ L" {5 h去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
6 H+ o  v0 M8 ky = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
0 L0 X4 s; N9 ?4 ]0 I) B) h( }w , b
- Z3 ~* q/ R  N0 q; h27.002620697021484 14.826167106628418

# G" u% F8 K3 B  |; U5 c7 m和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。