继续请教问题:关于 Pytorch 的 Autograd

雷达

: [6 D1 }6 N' r) ?) o5 U
; s' u. |% q9 Q2 r; o) }+ u为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
import random
+ O) ?, B6 @$ n- r) i: e
/ ^  V! b' [9 z- M2 xx = torch.tensor(np.arange(1,100,1))
6 h7 ^% n7 p" i) |+ j4 My = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
/ g" Q8 o* ]2 j, @. @1 l* e* |
epochs = 100

losses = []
: E6 f3 i: u- v, t+ ufor i in range(epochs):
1 t1 n; e, s; l1 A+ S8 q- Y5 `  y_pred = (x*w+b)    # 预测
; {, H1 s, l1 A/ e# Q  y_pred.reshape(-1)
4 H8 B1 L6 P- u
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
1 X) h& B* C7 h: ]+ c9 ]5 Q* G  
  loss.backward() # autograd
  with torch.no_grad():
& p- t: I0 z2 V* ~! g    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
& X. ]( O* |5 ?8 Z: \! L% F! H  b.grad.zero_()

print(w.item(),b.item()) #结果
5 b6 E' z( u' E# h
6 d2 g" _* j# D: p( JOutput： 27.26387596130371  0.4974517822265625
1 d' U' R; v' Y8 P6 e) s# {----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
0 S) l+ n7 Q) Y: V. a: Z高手们帮看看是神马原因？
5 {( k1 c: ?- r, h% K2 z/ O

老福

* f* c: K; F) n2 L3 z' l' q
( Q5 G# m! Q; D1 Q8 s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
1 L9 R+ K/ J/ B不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
' [- i, Q' J- P. ]7 H算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
' `) R) y9 s9 k没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
$ j9 i; {% t! X我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
! y# S, t/ _" ^4 F. s0 L( V谢谢，算法应该没问题，就是最简单的线性回归。
4 K) i0 t0 y; b: Z. ^我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

6 t0 S/ j. s4 S" J4 n
$ G  j; D8 L# e2 y: q9 }4 n' _' k刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
, g7 U8 g0 H4 s- I6 M: G
# j% P: i* P- T# f2 Z4 f* M8 g或者把b但的起点改为1试试。

雷达

2 X5 P2 D4 r( S+ F( S* S

老福 发表于 2023-2-14 22:00
/ a# j+ r- T( t; V刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
3 d- I7 v! A! B! S; K6 q! N
" ]  }$ L/ n! B, O  L) t, {7 n或者把b但的起点改为1试试。 ...

& h3 Z3 s2 ~+ F$ t+ x你是对的。
, X5 K8 Q& `9 O5 E3 W7 ]  Y3 b去掉了随机部分
- W1 y  ^  ^* _2 [/ D9 B, S7 Q#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
6 n: o2 h1 r( U( o; }# B) |# Z2 f: l# O
$ q7 p- D- E/ w" D  G# A: A( c循环次数加成10倍，就看到 b 收敛了
w , b
) [* j% k; q4 Z  o* x4 h0 ^27.002620697021484 14.826167106628418

  }! T5 z: G/ S+ x+ K/ r和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。