继续请教问题:关于 Pytorch 的 Autograd

雷达

# P) k% [) V4 U/ x1 d2 o3 A8 w
# O+ d3 Z' \) O" D为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
$ J1 D+ ]& ^7 G& h6 p9 X1 a----------------------------------------------
8 {" d& g0 d, T; U& F# y0 Uimport torch
import numpy as np
import matplotlib.pyplot as plt
* M" [, @4 i1 |2 Kimport random

x = torch.tensor(np.arange(1,100,1))
3 v2 ^) W: W+ m* E- gy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
' b7 V, O' H6 _" Y6 R7 R
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
) Y. m: b1 r0 cb = torch.tensor(0.,requires_grad=True)
, K5 q7 z* J8 U
5 W6 S: J; j3 ~5 x3 `3 V+ ]! \epochs = 100
8 s1 @) {4 V9 H: c. h9 q# e: [9 D' B
) j( h0 K  q8 g! ilosses = []
5 o- {; Y$ C8 {/ @5 G8 P  C8 m+ [for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
( {6 }5 l/ m+ ]
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
; ^" ^2 D1 D# V  
9 |+ E  H; }7 y4 P, w  loss.backward() # autograd
  with torch.no_grad():
1 L3 G/ k4 N8 c. ~% z1 J' f    w  -= w.grad*0.0001   # 回归 w
- ~" P  l7 c% Y9 d  U    b  -= b.grad*0.0001    # 回归 b
) Y" V7 S, ^+ y  w.grad.zero_()  
2 D4 x2 t1 z& {- K  b.grad.zero_()
% D4 C2 ~6 ^1 B! ^" `% V' ?# J8 ]
7 V0 L( S# _* ?3 I. }# l0 g* Vprint(w.item(),b.item()) #结果
% @  ]( c. {( @0 O0 h2 y6 B! B
* F: W/ P; j6 O9 {Output： 27.26387596130371  0.4974517822265625
; Z4 M8 h+ i0 X----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
: a2 b) V% _  z3 r+ a% ^* E高手们帮看看是神马原因？
8 \) o% e  \, Z1 c6 Q$ Y

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
- k! Q- N% ~. I; Q/ `8 y! o- j不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
5 s" b+ }: a- s: _3 `6 @# `-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
  g! n" g$ O) l: ?7 Q" l没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
) n% V) z8 l0 G: Q-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

, v  r% i' I+ ]. F9 `' q

雷达 发表于 2023-2-14 21:52
6 [, c& r9 e* K8 m  s+ _/ U" ?6 O. H谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

" I) }" ^9 b1 Q+ y  l3 J7 Q3 Y刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
/ i2 u. g& C/ g
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
: C% Z1 W( z8 f  ^1 I7 D* a刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

8 `$ X! P) _5 f' ^" P  k8 z. a3 r或者把b但的起点改为1试试。 ...

& X) m5 s; A2 m" z& O1 W
6 P" S, N+ F2 m% o' ~+ _你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

" s, d; @# k' |7 e循环次数加成10倍，就看到 b 收敛了
* V8 y5 w/ W" ]4 F& H+ f. Kw , b
27.002620697021484 14.826167106628418
' l, B" O2 D1 E9 [; h3 F0 G
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。