继续请教问题:关于 Pytorch 的 Autograd

雷达

: [' _5 s( N: c- k) T$ `
1 K  N6 J0 J- w' P& J为预防老年痴呆，时不时学点新东东玩一玩。
3 _# j  X0 n+ |' Z) J' j! D( {8 U. i7 ]Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
" u4 j# H2 C" n: t6 O7 S4 vimport matplotlib.pyplot as plt
& W2 O2 q0 H; cimport random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
6 y5 s- v0 p/ W4 W2 V
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
; v& l8 N7 Z; u* K: f8 ?( r! i% }
epochs = 100

losses = []
for i in range(epochs):
' v5 W$ z  V+ U( Z; {7 u$ ~! g& m  y_pred = (x*w+b)    # 预测
- l: ^/ [8 w& s. A! N  y_pred.reshape(-1)

5 V, m9 E) C2 g8 W1 Q9 h( b/ R  loss = torch.square(y_pred - y).mean()   #计算 loss
! \/ b0 ]- A6 x& M  losses.append(loss)
) b& V+ j3 o: J6 @$ @  
' Q. m9 a4 c8 j  [0 u  loss.backward() # autograd
  with torch.no_grad():
* k! F8 w2 m: q    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
! T# Z+ r# J; G/ q9 C9 `. i  S
; @9 Z$ _' u+ t( V" Fprint(w.item(),b.item()) #结果
  N* X; [$ B5 b, Q: w% x& g
2 ~0 i: ]3 _# m* u- D  |Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
- k) a6 A, X7 g# \最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

2 X) D% l0 N7 q) q; v/ Y# _
, n4 I  W8 L- W. ?6 [! F没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 w9 D2 E. ]6 p" x; @' C-------
$ ]6 V$ }& g' |$ T不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
* z2 M' w* E8 b; d! K1 Z; t0 K算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
/ n7 d% }* f/ M7 S" `9 K我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

: n# S7 C0 C. S' q# G6 N, t" p$ J

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
: E& P, G1 q" i# S) q3 ^! l* O6 E我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

, P6 P1 \! C1 K% x% F
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
1 y9 J" ?# c# b- T" i  s( S
- K8 }5 k8 A, U' r, I或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

- K5 W, ]* R: c; e$ k4 ?1 {或者把b但的起点改为1试试。 ...

你是对的。
- Z8 Y, f! ]2 e5 C, Q去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
2 X# I1 w) o5 Y# _: ~4 T2 k- o
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。