继续请教问题:关于 Pytorch 的 Autograd

雷达

* k9 ]2 T+ ~1 M8 l为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
7 P* r) v# A9 `4 f----------------------------------------------
$ D, t' R( S, I) r- F' jimport torch
8 |( o5 ^" [# |import numpy as np
7 Q- n/ r: X+ Y9 [& O6 ~import matplotlib.pyplot as plt
import random
( ?" S( Z6 }+ ]7 [" \
; I. M0 ?# e+ @# y- k! `x = torch.tensor(np.arange(1,100,1))
5 y2 t& y9 C, `) H) ]  Py = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
6 X; v: W) D# m. d
* g; S3 u, `8 b# V) H. I  n- |! @w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100
% i; a$ o/ B  E2 H
1 G1 W, a3 ?# N- o$ @& jlosses = []
( ^7 K, i( ~/ z" l) {% z" d$ Yfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
3 [. d0 ]' y- C; }5 {  y_pred.reshape(-1)
& ?! X9 [; f" u) c
  loss = torch.square(y_pred - y).mean()   #计算 loss
! ]* J* y% x- ?! y  losses.append(loss)
  
- m& B+ x, I% [5 K  loss.backward() # autograd
: u3 S& U% J9 z2 o+ D* k  with torch.no_grad():
6 w& j% Q7 |3 ^$ |    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  i7 B  @) r) `# ~: V  b.grad.zero_()
- w2 c# t# A  x
print(w.item(),b.item()) #结果
  Z  ~8 f6 B' x6 d
4 V  G- B' a% @( ]9 S: F1 NOutput： 27.26387596130371  0.4974517822265625
0 C% [# |, X% n* M6 ?7 I----------------------------------------------
% N& l! V* ^( Z, v  s* I- b最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
9 S! o" X! q5 V: L

老福

( j+ F. D+ z& @* e没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
" P/ H& x8 [: w  ^* A! Y-------
0 h- p, o1 |! h% V% }/ n不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
7 Y+ t3 [$ @8 K: T# ?% k/ U9 {: n-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
; R, s+ z. T5 U6 V% o. z/ x" f-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
5 m! w/ F, ?& b2 ?我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
' ^; s" `% j5 P- i, P  [6 z谢谢，算法应该没问题，就是最简单的线性回归。
$ s9 C. P" T" E5 N" Q7 F我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

/ s# Q7 K) d4 U: I3 R0 ]4 M5 t- Y8 X( h
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
. O* a7 U) T% l4 k3 J2 ]6 C+ |% C
+ ]) c5 w: X& v或者把b但的起点改为1试试。

雷达

5 O. J4 p+ @7 h! w

老福 发表于 2023-2-14 22:00
' _- A& L3 c, F0 t- V刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
0 L; A! H7 m& A7 m
或者把b但的起点改为1试试。 ...

, s1 i' c& c; [3 ^$ O  ~
) L  _6 O4 @7 t3 K5 ~* K4 `你是对的。
( g2 I5 q; t4 i* t! @6 O" m去掉了随机部分
+ D& D& V8 Y1 e9 Y3 P#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

, h- O4 i  `# H1 f! v; R/ R2 r循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
' Z5 y! E- f3 }! n' `
' B4 d% R$ |  ~9 q- R  l和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。