继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
$ Y2 b. m* z) ]% F& J6 Y& o, |Pytorch 下面的代码做最简单的一元线性回归：
7 V$ i$ R$ q. M7 r& ~----------------------------------------------
* h0 `2 E: f( }% H" b1 u. Z, ~- }! fimport torch
import numpy as np
import matplotlib.pyplot as plt
2 ]  N5 T$ ~# O% b7 k+ c1 cimport random

0 A0 v6 s4 o4 J+ d+ Mx = torch.tensor(np.arange(1,100,1))
5 F& F6 f. Q0 G+ f9 h! [6 ]8 By = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

$ f; _! b$ o6 Y5 U8 gepochs = 100
# y7 d' g# `$ V+ [2 ~! b& x
losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
6 z; V5 r, D# p, }  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
0 `2 u  o& T( Z  
. Z2 t4 n1 X) T  loss.backward() # autograd
1 x7 Y& _# b4 C  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
! n' ^" d. e' S  w.grad.zero_()  
6 B( F: o+ z, b! ~  b.grad.zero_()
( [6 w  i1 |6 y3 j6 F/ z0 x! v$ m1 i
print(w.item(),b.item()) #结果

1 d, ?& C8 ?# J& d) ?& lOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
9 _* B& c# e* w( E6 V+ {5 ?/ x) H/ V高手们帮看看是神马原因？
/ m3 d: E$ J/ }- z/ o& k9 a- s

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 ~: o! n) e4 _9 F4 b% O-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
' D' O( W( W9 ?: n  u5 s# E/ T* r-------
; ?9 Z$ D  _" t  l5 a( r% n2 Q2 l算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
: F" F9 d- C* G/ |# t# k8 h! V6 O: I! Z没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
) [8 p' z0 ]' c* E& q. o不好意思， ...

4 Z0 \$ ?) P( x% W4 G  h8 V谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% ]. A) Y5 t/ _' b. |) P

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

+ ?" n& s7 c: z% d6 x8 J刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
# x3 l1 S( v( _6 h. f
或者把b但的起点改为1试试。

雷达

/ m. y/ [$ L: R

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
6 B3 _7 A& y% ~0 ?* D- A& c2 M7 k: \去掉了随机部分
" Q" |7 Q1 o  }; Z#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
% h, G7 g3 z4 L
循环次数加成10倍，就看到 b 收敛了
9 r9 N1 ^  g- F& [6 `" o  Q; |w , b
27.002620697021484 14.826167106628418
/ ^9 T$ x" s, @: n, v
* {! ]# f+ Y  ^* B+ j1 ^和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。