继续请教问题:关于 Pytorch 的 Autograd

雷达

$ `& z( ^; Z1 F  j3 e7 |3 T; Q* I* t4 Y; r
; F- n% y3 E: a% w! h) N为预防老年痴呆，时不时学点新东东玩一玩。
' y( }$ D0 F8 b" dPytorch 下面的代码做最简单的一元线性回归：
, N6 K: E# {! w% w+ i----------------------------------------------
, f, k  l1 e, F) w6 Y5 n* ]# h0 k8 O" ^import torch
9 |; U/ d/ v# x& p& n3 Aimport numpy as np
2 \, u6 b6 L" B4 t4 fimport matplotlib.pyplot as plt
9 d# v/ t6 S4 q. U1 y' _import random

x = torch.tensor(np.arange(1,100,1))
# M+ ~+ p* x7 ]$ ~. Q5 e( m" {, @" i5 O: oy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
6 U2 u* J1 f& M2 ?% k% u; Y
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
$ G+ f) l8 T/ {2 v, y" X+ ^b = torch.tensor(0.,requires_grad=True)
4 f  o4 ?0 t4 V, K6 ^
epochs = 100

7 X+ N1 E% F9 v' `' Tlosses = []
% H  P% J6 T5 E# U2 Gfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
1 `4 r4 I6 {% B7 ], ]: D* [  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
" Y" u) P2 T' @+ A  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
; ]( w- H/ W# G" k- I9 {3 _; X, {    w  -= w.grad*0.0001   # 回归 w
4 P) S$ u* F4 |3 V    b  -= b.grad*0.0001    # 回归 b
5 E8 s, R& `/ k1 o4 `2 j0 F  w.grad.zero_()  
  b.grad.zero_()

# s  L1 \% \+ u! C; Q* b2 m. Eprint(w.item(),b.item()) #结果

  S" T3 a& Q0 Q: f8 {0 WOutput： 27.26387596130371  0.4974517822265625
+ _; K4 f* m: q/ G----------------------------------------------
; N, d9 m% |5 k& q: |, d最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
' X' i- ~+ ^8 x; }

老福

' k  t9 _, Q( e$ E没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
: m1 g% I. b) p) w2 O+ I* W算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
) u( I4 g, Z1 t) n; d-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
4 q: W$ P) P* j) y8 s4 G+ J2 n我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

; n9 n" l( A- Q, Z; {" A/ C

雷达 发表于 2023-2-14 21:52
0 ^0 |+ `: y/ W) o1 q* g/ J, `' L谢谢，算法应该没问题，就是最简单的线性回归。
- O# v. A/ ?7 [* _/ x3 |0 a我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

* H  i" g6 ^. B$ e: g' _
! E1 t% y4 Q% e刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
, f$ h) T# m$ G- v  ?( M6 s# k
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
: [0 j0 a: o* f, M0 i  ?刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

/ w+ ^+ t( M0 [8 {或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
* s! e$ z1 a. \w , b
3 |1 [/ J4 \% e27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。