继续请教问题:关于 Pytorch 的 Autograd

雷达

3 A8 ?2 h% W" R3 e! |$ v( o
3 k0 x& g( u6 k* U为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
: {7 Q$ B8 Y/ A  _; h+ v/ P; zimport torch
import numpy as np
; `  r+ N% N" Qimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
( @0 `9 Q+ ]9 I4 U1 q: ^5 Ny = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
  s" G: b  x* J% }: o
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
: u/ H; ~- z3 C" Y& Zb = torch.tensor(0.,requires_grad=True)

$ X( f; O, X3 I5 V( wepochs = 100
2 l, V: m, U& x/ ^' V4 W8 L2 Z' z" Z
( t* ?& ]' r, K6 ?losses = []
3 h9 c0 ~6 p3 w5 w2 Kfor i in range(epochs):
8 i# R/ w* F. o9 w% ~  y_pred = (x*w+b)    # 预测
6 t1 m7 Z/ S5 s) O: \  y_pred.reshape(-1)
9 D3 n$ q6 r0 M7 C
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
) f# R' @# |- e8 r% L) `  
  loss.backward() # autograd
- [" U5 a  }  a  f" ^  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
! Y0 A& \; G$ n" [) j2 |8 t    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
! o3 r  R1 V. A- ]) {! ?  b.grad.zero_()
1 @; {& H. b4 l
) i. U3 E( c5 {  c. @3 Tprint(w.item(),b.item()) #结果

' Y# c1 U# b6 c& n* j# f  iOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
2 P6 ?& |' O/ P  P2 z2 I2 X4 e3 i" ~最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
- ?* t6 o' u/ v5 ?8 d, P高手们帮看看是神马原因？
# u. z. @; Q9 w* p6 p" f  v

老福

7 b" W+ g. }" C/ i7 w6 s! X" @没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- @  S# U0 ]# ]7 Q5 ~! Q( U-------
" t9 g7 Y% M/ `5 R6 M* {* A不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
6 P; E9 @4 g( m! q没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
# X8 u' _+ j  f; o- s5 E不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

2 X0 L) i) v; v6 _7 D4 k

雷达 发表于 2023-2-14 21:52
- c1 U& A$ W# Q1 c, ~) m6 l谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

$ J$ G4 p7 [' ^& s  w2 i
' I# u: t9 k( S( c, h刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
! I& n. w) R5 _. }刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

! |, u! \" ?: q# }
你是对的。
2 a+ f7 M; s1 [# H5 R0 k% K% k去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
. M: d, U1 \* R/ i0 [& Uw , b
* C2 k( }# f. T! @  y3 u1 M8 e+ O27.002620697021484 14.826167106628418
  r, V# v2 W" n3 d1 o, F% G
& K* T$ V' Z& y  }' H2 I* A, G1 O和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。