继续请教问题:关于 Pytorch 的 Autograd

雷达

* @6 n: e- S2 H3 ]/ q) E为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
3 ~7 u9 G3 f3 D. n* iimport matplotlib.pyplot as plt
; r% z9 y/ k8 r- G; T9 }import random
. @3 O+ N8 t' ~4 \5 {
x = torch.tensor(np.arange(1,100,1))
' d9 v8 M! w7 i% L8 ~: s3 Oy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
2 \( U  D( ~! z0 H& U
# X5 W* B; p  u. M( s8 uw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
9 T% n0 V. B5 I! q* m; p, ]5 L1 w8 xb = torch.tensor(0.,requires_grad=True)
. ?% c* I5 R  m& ?) I
- x: o) W) C- Q3 V6 [, y/ cepochs = 100
6 T$ n2 t1 m4 l! K  {
1 F1 ?5 S" \4 H/ Y9 _' y" u7 [# Flosses = []
for i in range(epochs):
5 G. p* F7 @4 K7 {; d" o' M  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
* _/ D/ e8 t* p  
  loss.backward() # autograd
  with torch.no_grad():
  ?# u/ h! G; `0 l8 x" w' M- T    w  -= w.grad*0.0001   # 回归 w
, d7 v  F# V" @+ N4 I8 r    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
% x; c/ p0 X0 k* y  b.grad.zero_()
  U: @7 ]% c& z5 e( f. G2 o
7 v; T1 [1 t$ Wprint(w.item(),b.item()) #结果

. K  o8 v  u$ s" oOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
% O3 i2 q0 p$ h9 x: T, Q6 C最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
# i6 ]4 J7 f; Y7 ~% Q" l4 M6 G, X高手们帮看看是神马原因？
  L6 H, R( j. n% I, S- L

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
" J1 D. H; i1 A1 k6 L8 C( |+ C-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
% N, i: R4 r" X' h) }9 c6 d没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
$ s( Z, R* M/ u不好意思， ...

# X; ^4 v" x. b) C6 z% D4 t0 r! I谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

# j8 N' ?+ S! _) o

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
$ e7 I- [& `3 c. L. D- J我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

- o: n! k4 O4 y' c8 v4 E刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

# s/ l% K( e) E9 I或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
& n# U( M+ R7 y# R4 c
或者把b但的起点改为1试试。 ...

' c/ Y- R- X0 ?1 q
0 C: g5 p5 C% `; ~/ t  D( I' X) g你是对的。
# U5 u+ Z# Y$ C7 Z# t去掉了随机部分
+ O! n* J$ R4 F2 B3 ?' e- \/ e1 X#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
7 n0 d. ~" V/ O) z' F
循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
, j! T: l7 s1 ~; t7 l% u" }
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。