继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
( Z7 q/ F& t2 P8 V- W% V9 ]----------------------------------------------
* ?( l7 v. H+ Z0 k1 W2 ^import torch
import numpy as np
" h: y/ \# q5 Q7 ~import matplotlib.pyplot as plt
) N) n8 L  |  I( \% L$ |5 fimport random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

" i: \6 X. V, I9 T: [, uw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
3 d' I9 w8 O5 j, O& z: y' eb = torch.tensor(0.,requires_grad=True)

epochs = 100

2 O% N1 p& s+ Dlosses = []
for i in range(epochs):
! f4 Y3 O( j6 ~7 e* W  y_pred = (x*w+b)    # 预测
0 v8 \$ J* ^9 g: V  y_pred.reshape(-1)
2 I- }( A- X8 r% I
3 X8 p9 o1 p9 u  loss = torch.square(y_pred - y).mean()   #计算 loss
$ k8 \+ G2 B* N  losses.append(loss)
' v: a& A8 Z, n( X9 Q0 O3 @  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
6 b0 E% \* o# J% _0 p8 K* @    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
/ J  ^, ]8 `' f  ~
print(w.item(),b.item()) #结果

7 x2 j; ?+ h$ x% o' u* }4 X2 d2 lOutput： 27.26387596130371  0.4974517822265625
  z9 b# P1 z* e" F- f: i' q1 x----------------------------------------------
! D. V: v0 p  R/ G' K8 w4 W最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
. P6 E$ J' V0 v$ B, z( s-------
; o  s; ^+ M7 t+ }不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
* R  X% D& e+ D3 z; `5 ]-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
* d( [8 C! K7 M/ q2 o, I/ k# J-------
  z) k3 i/ R4 \/ K/ P% s# \" x不好意思， ...

2 [, z. \4 F: g! Z6 r( N* W谢谢，算法应该没问题，就是最简单的线性回归。
: V( E4 e+ H! s& l我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

; r! p) u! E1 m  C) y3 A! p+ G

雷达 发表于 2023-2-14 21:52
  X5 T. s3 \6 F, p2 m谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
5 P& D0 V+ j. v. ]
或者把b但的起点改为1试试。

雷达

+ L1 X1 F) _* {+ A

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
/ y) q! m" D6 ]
) u9 z) @$ V4 K0 L! H4 P或者把b但的起点改为1试试。 ...

5 I( \# z9 l5 c
你是对的。
8 D1 B+ N9 S9 W去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
" F: _1 U3 U8 r- {y = (x*27+15).reshape(-1)
* f; Q3 s! E! T8 C/ G
0 }0 R1 A" ?" L  O循环次数加成10倍，就看到 b 收敛了
- [& S) x8 v; Q+ e- Ew , b
, {  X. s5 ]2 U3 _27.002620697021484 14.826167106628418
3 i2 f7 U7 Y" U* G- A8 S
0 G7 U7 t" W  d9 Y和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。