继续请教问题:关于 Pytorch 的 Autograd

雷达

. ~  ?, c: w0 A; H* s为预防老年痴呆，时不时学点新东东玩一玩。
, ]' z( H6 I8 _0 l1 R' ?Pytorch 下面的代码做最简单的一元线性回归：
; ]+ b8 m3 V; a. D% Q----------------------------------------------
import torch
3 s, p9 `; J. I5 n9 s3 Wimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
2 ~. P" s( ]; m% a. iy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
; t+ O  }( v* v- S7 ?" X/ i7 gb = torch.tensor(0.,requires_grad=True)

" U9 c/ p( z0 y% n9 qepochs = 100

& \7 i& X. X2 k9 I" alosses = []
0 X3 t/ _* h) N9 `8 j1 a3 k# Mfor i in range(epochs):
1 H% r! A* G% D* q5 D% h  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
: U! j0 }6 \& t) h1 H/ z7 Y2 h
  loss = torch.square(y_pred - y).mean()   #计算 loss
% L' Z0 ^* t) Q) a) ^  D, d  F  losses.append(loss)
  
  loss.backward() # autograd
: h9 _. d4 i$ @1 R* d' }1 w9 j  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
5 [. \. [& ^% i  b.grad.zero_()
+ N0 E( D1 X# o; B
print(w.item(),b.item()) #结果
7 g# I( B/ I* t) l
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
, }4 S' O" Y" u高手们帮看看是神马原因？
. X' m! G4 o: p8 w0 n

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- a1 F9 Q! |; E$ H-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
6 e6 l% |! ]% N( t) Z  I$ [-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
1 j9 n5 `5 z  ?, q% N/ n  @4 \没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
$ ^  X; i: F7 O8 n8 ?4 L-------
不好意思， ...

6 C3 \5 y( R4 i/ `( c3 h谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

) ^4 C* t2 N% d8 @

雷达 发表于 2023-2-14 21:52
/ D/ N- Z  S/ ]9 t/ v/ e; b谢谢，算法应该没问题，就是最简单的线性回归。
* y, y; ^( V; a$ f- `: r我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

/ l* K' c4 V: S4 S& b刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
% R8 `$ o% f7 }: M- `, `
; p4 L2 z  g* T9 e/ i或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
9 H: M- s+ U1 r3 }1 h" L7 M3 G
8 ?4 M" y' l9 T或者把b但的起点改为1试试。 ...

9 _# _) g; Z; s( Y. O* d6 d, g
9 X+ z  ]& _1 Q# J# f+ C你是对的。
" q3 b% X" a) A' G/ d去掉了随机部分
' f, V0 e1 N8 K6 H' K) d/ Z, ]#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
! J% a3 A+ Q. h
循环次数加成10倍，就看到 b 收敛了
9 ]3 l" Y7 {0 t7 \) Hw , b
1 Z& i& a+ [6 D4 x( Z/ Z27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。