继续请教问题:关于 Pytorch 的 Autograd

雷达

- g% P5 z8 b" d, x! v8 |为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
* ^3 R1 l0 \; y: m( timport torch
% ]! P- N6 X- H- k8 Uimport numpy as np
import matplotlib.pyplot as plt
import random
; L0 J$ V% e0 w7 l6 R  H- \) u: D
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
2 g. f+ a9 ~3 H) b7 P) o0 u# j
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
  P$ }0 p) V) i8 S
epochs = 100
( H  I' j2 X; V. _. d
losses = []
9 f2 N! I' d0 m- mfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
5 s. o8 U3 K4 o: L$ Z$ h% }' V  losses.append(loss)
3 r1 p; B8 j) }4 m% {! s  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
( D0 K0 |$ W4 y5 E! x    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
$ E4 `" r$ q/ s: \0 s2 Z
) _! U; o1 o, ^8 M& k% s% h: Aprint(w.item(),b.item()) #结果
4 U9 V2 e1 n& I- K! H
, S- R5 t; E% d0 J' mOutput： 27.26387596130371  0.4974517822265625
1 Q# S( j; g/ }9 |  a----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
+ v4 G( Z6 J# @, E6 O, y高手们帮看看是神马原因？
- t+ X# C: U7 O; @; a6 {

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
7 [# ~4 u, |4 m# ^( c不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
: W5 H" T3 S( S# g4 j" E; w算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
7 b9 w7 _5 Q  j1 V! O没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
; E2 J7 ~" L0 z# o# n* S+ h-------
不好意思， ...

' ?3 Z6 P: @7 ^6 M谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

6 `: H. l" i! g4 j

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
# v$ c) l# Q& ]  e! d' e' ~  y* g
7 V6 L7 [7 }4 c$ R& [8 ~. Q1 X; d或者把b但的起点改为1试试。

雷达

' s* {( X! o2 T( q) ?

老福 发表于 2023-2-14 22:00
! g6 E/ [. q+ c  e) G& r" l刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
0 ^: |2 y8 b' ?7 v8 S
$ q- N$ B& z3 Q0 s2 X或者把b但的起点改为1试试。 ...

" U  k% y* R" o/ e, ^+ o% D- A7 X
你是对的。
7 T4 g5 T  |9 \' c/ Y去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
. }1 }& V2 a  }$ z4 D' c) m# ]0 Ty = (x*27+15).reshape(-1)
) E! k( I$ I- i+ E) i1 n
循环次数加成10倍，就看到 b 收敛了
* f3 x7 y: D" t! f- R0 C, hw , b
3 m3 e/ r8 y9 [& E; F0 x1 U" I" i27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。