继续请教问题:关于 Pytorch 的 Autograd

雷达

# V# Z: Y8 v8 R  b& n3 G. o# _: V
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
$ z3 n1 {$ t8 Q; Z2 |7 R( i+ fimport torch
import numpy as np
& `+ h7 p0 m8 _; X7 V- Oimport matplotlib.pyplot as plt
5 m; j$ N+ w8 Z, N* [7 {: Oimport random

/ o: H5 P$ H9 A4 _7 r( l) g+ ]7 o' Bx = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

/ y" n7 L! a& Cw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
. l6 @: ^* T- h: F3 D- G0 _
" H7 M& k* E) c% K8 j+ O7 {9 f# [epochs = 100
8 O; l) m# d5 ?+ N. B, M/ `+ \! A
losses = []
for i in range(epochs):
1 ?; l9 y8 _0 n5 P1 j" d  y_pred = (x*w+b)    # 预测
" B" H3 i4 ^+ L! ^8 M  y_pred.reshape(-1)
- Q, `  F) M; K
  loss = torch.square(y_pred - y).mean()   #计算 loss
5 s# e" I$ f' X" `4 C: s) j  losses.append(loss)
  
7 B% @) N. Q! q1 |  loss.backward() # autograd
9 |4 q" r* z6 Z, }  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
; F9 [- m! J0 a  B9 c5 {% V! T    b  -= b.grad*0.0001    # 回归 b
/ B9 t/ ]4 D: a5 y& _% s$ d6 p  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果
- r2 I% s- L- c' g! b& A
, X1 i/ t# ]+ b8 r3 n: P" POutput： 27.26387596130371  0.4974517822265625
5 N  \& X& ~7 U4 G* J2 S- ~----------------------------------------------
  ?* g# L& j% V6 ^1 p( \最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
7 Q1 \) z# {0 ~: B

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
$ M! p  s1 g0 \$ Q( y) Z0 e0 g-------
( {3 t+ X, j" O' |$ \不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
# [! S( y6 x: H+ x  S不好意思， ...

; r2 e$ f7 x& B) n& I8 z6 K2 K& r谢谢，算法应该没问题，就是最简单的线性回归。
; {; k4 d) n  q) ~我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

, |- q* @6 P7 t5 g

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; l2 k6 b" u$ z" q( N) {! V
或者把b但的起点改为1试试。 ...

' F0 `! k8 R7 y! Y
9 k3 L/ _  n3 q5 k你是对的。
去掉了随机部分
# U% d6 S$ e* r2 i* g+ X! S#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

# o+ t) Q) X6 y, `7 F+ R循环次数加成10倍，就看到 b 收敛了
" _: {0 B! G; n  C6 u: Rw , b
6 u3 G  f6 j$ B" T. O" [27.002620697021484 14.826167106628418
0 T' S# [4 T$ F0 J# m5 q
" O8 q3 v) q0 G' }1 q7 a和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。