继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
  @& o! l; w' s. h! `Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
$ l9 h7 I- V& Y0 qimport torch
import numpy as np
; J5 |: O5 n- x; b- ]! rimport matplotlib.pyplot as plt
3 A' }/ v' @2 U8 ~6 l' k2 f) ]& limport random

x = torch.tensor(np.arange(1,100,1))
4 {# @  N2 U4 e" X4 N% hy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
! L5 @( d  f3 k1 W. G  |
- G) `" O7 ]9 U. c: r* M. Qw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
3 R) i% L  t2 c4 P* m4 H! [, w
* w7 x6 q; }+ U# ?1 Zepochs = 100

2 M- t0 U' ]/ \( d, H+ K% Klosses = []
for i in range(epochs):
% z$ p% v( t! a  y_pred = (x*w+b)    # 预测
5 |, ]' z  `" b+ K  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
- F4 H9 }, C- U6 E# F  loss.backward() # autograd
9 ?2 ^' C( [$ q; ~  with torch.no_grad():
6 O* Z- Q" h$ C    w  -= w.grad*0.0001   # 回归 w
' @- Q! z: s- _7 s6 n/ i    b  -= b.grad*0.0001    # 回归 b
9 i- `. D( K1 N7 @5 e7 l* f  w.grad.zero_()  
/ I) R' m1 h" {! i7 X  b.grad.zero_()
3 g. I4 x- r) |: j' l. M' e) `
& z0 M  t1 b% f- j" v" d: Y3 wprint(w.item(),b.item()) #结果
! ]9 i4 ^9 P+ F+ e  S3 ^
# n  ]7 s9 r* Q7 q, {Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
0 y# w+ m  ?: e  u: j  [9 b最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
, h. w* A3 y3 [  g; l0 l

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
8 s) a6 ^( M( O1 ^# G不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
  U  d8 V+ M# i-------
* l. W7 g* M4 _算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
( _7 L3 n5 N: I3 `! i( K不好意思， ...

3 x8 `2 ?8 I0 S5 }- p4 Y  n谢谢，算法应该没问题，就是最简单的线性回归。
* D1 x- m1 @+ A% N9 ~我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

! y! `0 ^4 W; H0 t0 m3 T或者把b但的起点改为1试试。

雷达

3 g6 V) E- x$ T! D) p$ H

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

1 J' r4 ~. f7 W- @; G# N
你是对的。
去掉了随机部分
( e- X7 {! I3 [$ p, `, K9 y#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
" o) X# f3 L# l0 J8 C, K
循环次数加成10倍，就看到 b 收敛了
. X( ~4 P. L/ P  P1 @1 jw , b
" C! `. q( w; U27.002620697021484 14.826167106628418

" @3 t; @$ o% Y2 H和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。