继续请教问题:关于 Pytorch 的 Autograd

雷达

/ g  ^- v- G# k2 @$ Q  V- h( \; k
/ F; M) P9 g- Y- U为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
; @" r$ z; B7 C7 W----------------------------------------------
import torch
8 l3 q8 ]# {5 `! ]import numpy as np
! Z- p2 u5 M. e3 ^! x! ?7 D, zimport matplotlib.pyplot as plt
import random
$ o8 q7 e7 m8 ~2 }# L1 f1 Z
0 ]' N' \9 f. q" F0 z) ^8 Px = torch.tensor(np.arange(1,100,1))
! x6 W  w& F; H, U8 zy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
$ @, I7 m$ P1 X/ [
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
( S$ o; R' @% Q. k7 Xb = torch.tensor(0.,requires_grad=True)
! V) _' R' P* g9 f5 _, r' n6 N
epochs = 100
# v5 Y6 D/ M2 H# _4 h
losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
9 q# H& Q: f# B  C. g  y_pred.reshape(-1)
% Q$ V: r9 e( O3 J* i
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
$ X) z7 p; H9 q/ ^% a  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

5 c8 n6 J. r) T& i% }print(w.item(),b.item()) #结果

- @* q' o' B: p) nOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
  v0 O( n/ d. `! q4 d' N5 V7 A$ }高手们帮看看是神马原因？
' [' l1 @5 [6 Q2 j

老福

# k( {7 D1 I& S6 m
$ m; b9 `% W2 Y* ?: h' Y没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
% O3 w2 u  s. t7 F/ `-------
# Z' U& o) M' s) e! p算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
' z6 e$ ]* t+ b5 T  O3 Z-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
' r2 C( O9 j7 k4 n( l我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

1 M- m# s( u+ `- m

雷达 发表于 2023-2-14 21:52
3 P; y# s& W/ l+ i) [3 g谢谢，算法应该没问题，就是最简单的线性回归。
9 f8 }; r+ h' C. N4 D4 S& Z' L我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

  f3 l( v1 O$ {9 m! L/ h" t或者把b但的起点改为1试试。 ...

$ h& o+ {, r2 B( X8 ^1 ?% L7 j6 S
% R8 N, F; l- w+ K. ~7 T* y  G你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

# r  ], O4 ]+ K: J- O; ~. N8 H6 N& ^循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
' j$ y; _4 j# W$ l
+ C) s0 R* `3 ~' a; c和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。