继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
/ J: g2 Z( j) s----------------------------------------------
8 w9 w5 b0 n' o: [9 }! i: b) Limport torch
! ~5 h' H/ K+ Y# _/ U, d6 g- z. B# Ximport numpy as np
) F  z, F% Q2 B6 p+ I3 Eimport matplotlib.pyplot as plt
- q! v3 Y7 K) O- I; `7 U; bimport random

x = torch.tensor(np.arange(1,100,1))
8 `7 Y' m+ k2 d+ H  @6 [6 G( w8 Fy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
# F) S. j: U) r% @) @/ H
# n4 E/ y" n& y0 C0 y* ~9 _' iw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
/ W% g) F  W* [; ^* ab = torch.tensor(0.,requires_grad=True)

! h3 Z* B# G) r# Mepochs = 100
: _' Q# H! p0 n! [0 i* b
* ]8 l9 p/ {+ H3 o! @6 plosses = []
7 O- i8 M2 M- N& jfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
+ s$ K. D$ l  L1 R& K2 U
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
; t0 x" g1 r# e: j    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
' V& l$ k3 a2 P/ a9 b  b.grad.zero_()

print(w.item(),b.item()) #结果
8 F$ {* `3 c1 f" J) X* F
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
8 f2 p$ ]% y8 e+ X; B! D8 s最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
$ W3 f" j+ J' o! e. o. A

老福

& j7 H1 v) b+ C4 E' P* b- y6 _6 s0 Q* {
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
' o' f( @6 Y2 C( [9 g不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
1 A- {7 b, b" |4 Z% o-------
6 R. i, s7 \" x- o3 |算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
) O3 _, m6 h$ U$ L6 l/ X-------
! C! a% H0 p% A不好意思， ...

+ n) l# X8 t: `8 N9 n) S谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

0 ^- @# b3 U% y; ?+ \* m4 y/ ~# o

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
/ w! T( g4 T; X( g* U  ^$ H我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

# A' P" S; K' S& H$ O或者把b但的起点改为1试试。

雷达

* J; Q. v2 L# k7 R

老福 发表于 2023-2-14 22:00
1 Q) C  R' I! G& {6 a刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

- _" B% v  ]9 b, Q, H# M. H或者把b但的起点改为1试试。 ...

你是对的。
6 m" I1 p' s4 h0 k, X5 J. x( Q) E去掉了随机部分
% N0 u! Y9 N" e4 P5 A% W( n" I, \# ^6 [7 c#y = (x*27+15+random.randint(-2,3)).reshape(-1)
/ i! {1 b1 H; _y = (x*27+15).reshape(-1)

0 c3 L0 R6 ^8 q$ k! {循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
% _. Q# r* N7 A
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。