继续请教问题:关于 Pytorch 的 Autograd

雷达

) `& M/ j3 x( z5 R$ p" J& ?
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
$ q5 l( W$ O+ Q. P----------------------------------------------
* n0 R3 ~5 G% i& Gimport torch
( L/ R6 d  L+ Z  X" s- {) ^/ Dimport numpy as np
$ L, p- N( }2 A8 f4 L& c6 Timport matplotlib.pyplot as plt
import random
5 z5 H% n' I1 E# o8 ~  A
x = torch.tensor(np.arange(1,100,1))
+ F2 ~" f& P3 q) q; I1 R2 s9 o- ey = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

8 s5 V4 H$ W# i6 {( q$ F2 [& gw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
% l) Z9 ^4 |6 G; e1 _- _; X9 y, Zb = torch.tensor(0.,requires_grad=True)

, O+ y: R9 J; I* }4 fepochs = 100

5 K" \" ]. E+ c6 e* Alosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
! y& z8 q. }6 n' y0 K  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
$ K3 p2 n! e+ y$ g# E0 c# _  loss.backward() # autograd
  with torch.no_grad():
0 i+ r& ?" G' d. m    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
- k7 G  u: S/ T2 c2 a  w.grad.zero_()  
  b.grad.zero_()

  ]* e' n& }/ J% J2 F. I& ?: I, Hprint(w.item(),b.item()) #结果

3 ?! t& s1 q/ J8 q, o) \Output： 27.26387596130371  0.4974517822265625
0 c! b6 j! \1 Z: J/ Y----------------------------------------------
% o* @( ?: s2 Q& I( O/ t9 U最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

  t) r7 Z- G+ k
" m/ q( ^9 |9 }7 d没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
3 C) y6 R' E4 ]% m& E算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
& v3 t  D+ n* S0 h0 J8 X9 ?没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 M6 B" v. S8 k& ?$ [' m! d; f/ W+ M-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
/ ^- I" T3 ~$ m+ M* ^8 W( g& i3 x9 _谢谢，算法应该没问题，就是最简单的线性回归。
$ t5 o" b1 |3 x2 A; r我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
6 P; d- F, U9 z; j& k, c0 M5 f* a2 E
2 D& n; g; s$ H/ P. v或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
9 R0 {( k7 U" A* s" @+ X刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
! n  K: R3 @4 n
; M$ X3 C/ r8 T" n  o( h( W! @: ^或者把b但的起点改为1试试。 ...

4 H3 k3 d, C2 p3 j2 R* U; T5 y
你是对的。
去掉了随机部分
- g; @1 H8 s5 a; a2 w& N" c#y = (x*27+15+random.randint(-2,3)).reshape(-1)
  n* u$ ?; d) ?$ e3 @y = (x*27+15).reshape(-1)
  R# R1 U  H# b( U$ f( P, l
循环次数加成10倍，就看到 b 收敛了
w , b
! p6 m2 r% R) y  A27.002620697021484 14.826167106628418
  Y( s) J# M) R$ [
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。