继续请教问题:关于 Pytorch 的 Autograd

雷达

/ u- G- ]# ~* D" U0 T0 ^
2 Z; q; l$ g: r8 K# l5 Q为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
4 e" f0 I5 T. g* b! D( c! t* X----------------------------------------------
# l$ @1 h: p# c/ Mimport torch
import numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
5 ^! q% P) m, ~+ K, T
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

epochs = 100

! k6 A* G* Q! N" Dlosses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
. Z# x0 ?, _) e' d
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
+ b- [, N' d9 t0 d  loss.backward() # autograd
4 ]/ F( j5 o/ E5 w$ D  with torch.no_grad():
# @8 R- [; W4 s5 ~6 H    w  -= w.grad*0.0001   # 回归 w
6 n5 m! z8 ~6 {! I    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

6 h/ p4 F' U* _: b6 [" DOutput： 27.26387596130371  0.4974517822265625
9 c4 h8 b; m( O, S( @----------------------------------------------
8 F  m. A$ e9 v* B最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
4 A! k$ }. O( D高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( ^5 \/ G) ^9 F-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
2 N, }* f# x/ T+ M; s-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
( s9 V$ z* Q" P没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
# u3 i1 }( B5 ~7 ^-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
; t' T, g2 l* j我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

( N) f& i# }) E# ~

雷达 发表于 2023-2-14 21:52
0 V3 E4 P' v: ?' W! ~' q; }+ F) l8 a谢谢，算法应该没问题，就是最简单的线性回归。
# r% o, e' }5 p3 b6 k2 f0 E我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

& C: x) U6 q/ t2 T5 U  y
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

) i& C! Z; i; {% c9 k或者把b但的起点改为1试试。

雷达

+ b' e0 l. b& R3 W+ z) c

老福 发表于 2023-2-14 22:00
9 P7 g% |) I- G. I3 `! P刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
  q2 H5 F! B" h
2 O! j' c- ]* l. U% L或者把b但的起点改为1试试。 ...

& I4 u( z1 d7 D9 _; F3 B你是对的。
去掉了随机部分
6 m- }) Z6 d: D/ D( G' q#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
0 M$ c! b3 c. ?; D
4 a7 ~" c/ M, q" b1 c' F" ?循环次数加成10倍，就看到 b 收敛了
( z1 ^! `7 U7 _. I( f: G2 Kw , b
27.002620697021484 14.826167106628418
4 J6 H, ^! b' l3 M: p
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。