继续请教问题:关于 Pytorch 的 Autograd

雷达

4 K5 Q* o4 O  U) {; j0 F
8 Y. c! C5 W' D8 p, i" S为预防老年痴呆，时不时学点新东东玩一玩。
  t+ l. r( u6 k1 s0 B5 t! `- T% [* lPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
- D( P+ e3 Y. fimport numpy as np
import matplotlib.pyplot as plt
import random
6 \" _& P9 o; `8 t( \( Q
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
0 @$ I! G* N/ y6 i0 ]; t5 l& e
9 m: u  k5 q- g1 N" }4 i; I1 Nw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
. Q0 W' O+ J3 @) Jb = torch.tensor(0.,requires_grad=True)

epochs = 100
, o  s5 q) d' s$ B
losses = []
for i in range(epochs):
0 U/ A. ^, o6 _" D( f1 O  y_pred = (x*w+b)    # 预测
4 [  `1 r+ s9 Y' e; h' k$ L! J* F; \  K  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
9 e2 c# Z3 }% B8 M+ J  losses.append(loss)
/ W4 F, b/ s" q  b% A% f' }/ _4 @, {; K  
8 H5 z3 V$ B, k8 g+ m  y( C& k  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
1 h) m2 U+ L4 {+ Z9 N    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
- C& ]: R0 h5 h- v* f+ K4 R# S  b.grad.zero_()
( h& p; j4 P; ^' z
print(w.item(),b.item()) #结果
5 Q8 m9 l/ f& O$ u$ V; z1 y9 z
/ ?5 ?# L1 Z+ b3 z( T* M9 I" VOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
& E( G- q2 G/ y0 {# d最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
. \9 X2 O0 k8 s, ^( i$ y5 f) i高手们帮看看是神马原因？
4 `2 S/ \' C2 l8 K/ ]- w  Q

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 D) F6 J! f$ j7 Y  p; I2 v-------
8 ]& U& a+ q( a- b8 m. ?不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
8 W9 R5 t: n$ ?; l& B; t, D-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
6 S2 g; M; s" X+ s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
' m9 H! z" J; w- F/ {4 g8 T-------
不好意思， ...

8 \4 k1 O; M$ k2 {) p. l谢谢，算法应该没问题，就是最简单的线性回归。
% y( {' L  F0 s  A2 h我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

% R: a/ w$ w# j* ]

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
, z5 c: G8 p* |% y
或者把b但的起点改为1试试。

雷达

. ^1 l1 y. x8 m) _6 |  S

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
1 C+ l# i* {! p8 p4 S. t: g
) [4 X: L# B- x6 I& E. J7 p9 ]( |+ V( D或者把b但的起点改为1试试。 ...

4 O9 m# \* q. A+ u% T9 }
- J: f; d0 ^( w2 i7 }& f你是对的。
! H0 ?$ s' o. S9 g. A. O去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

# {$ R2 ?! A& d; ]7 W和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。