设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2683|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 8 e; S! E" f" ?( k  C/ i7 f

      y% S; J# Z* Y' @$ @9 V$ ]; r为预防老年痴呆,时不时学点新东东玩一玩。
    7 Z% m8 \! E# q( h9 WPytorch 下面的代码做最简单的一元线性回归:9 z  r8 Y& R  E" G
    ----------------------------------------------
    + E8 o6 j8 f# f- [: q5 E2 mimport torch5 r3 J6 h& w% y+ c+ @, k0 g
    import numpy as np1 L: Q' j( ~4 J5 \! S5 s/ }2 |
    import matplotlib.pyplot as plt0 O/ ~0 }" L3 r
    import random: F# g6 c- w, K' K7 U2 ?

    2 z1 D) N6 l: i' _7 ~, [+ `, Q! Ux = torch.tensor(np.arange(1,100,1))/ a; e+ o, G3 A; a
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    3 B( A5 n# W7 \- t
    . g" j, X1 u. c% l3 K5 |: L$ A- Zw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    ' u# ?/ c* Y2 j% ob = torch.tensor(0.,requires_grad=True)7 d" e4 G8 m* L! i9 e  e$ K

    ) Q. [& J, _/ l& Yepochs = 100' Y  [1 I9 K; J0 [

    7 [  S8 u/ `+ V7 Ilosses = []
    ; Z1 J9 Q4 O7 ^6 j3 k  B2 j' wfor i in range(epochs):% J( ?" w5 I: M1 p' \9 H( y
      y_pred = (x*w+b)    # 预测
    3 L3 k: c# n0 r' m  y_pred.reshape(-1)
    . n9 l, u9 D. b9 n$ o
    & u1 t# c3 |, ]: {: g5 w  loss = torch.square(y_pred - y).mean()   #计算 loss4 o# q# H  ?& a+ V$ ^
      losses.append(loss)
    : t% y& Y3 D7 I/ E" l# b  
    - y8 a6 |' B$ ^6 d  loss.backward() # autograd+ [  W# m! h" J7 r9 f- H# Y9 V
      with torch.no_grad():
    1 `2 f2 R6 U. P& V2 K    w  -= w.grad*0.0001   # 回归 w7 R9 u$ M4 v0 e* k& T: F; u
        b  -= b.grad*0.0001    # 回归 b
    ! F4 |# A' ~. G. R1 |7 c; m  w.grad.zero_()  . W% p5 E( u% [" }
      b.grad.zero_()% ?% E1 n( k; G# b. {& W' v
    ' q3 ^2 x8 y' c! w
    print(w.item(),b.item()) #结果- ?# \( L/ v0 d# G, U8 c/ E
    : N( y/ @, s- S* {( R, k
    Output: 27.26387596130371  0.49745178222656251 O7 }: {& a" G: g; |! f- W. ~. c
    ----------------------------------------------0 ~8 O/ k! h! m. b% P
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    8 a7 M6 k8 k; e- z+ b5 B) b' E$ z4 ?高手们帮看看是神马原因?1 ~# o  T' N; w+ c% ]" ?

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    1 L. k0 I$ p  J3 D! I2 E! p$ @8 N, l( q3 ~
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?2 o5 N/ f- U# y; _0 t4 G
    -------
    " r$ y4 T& Y3 O4 m不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。$ M5 Q2 n; |# d* S6 w+ e. I. R
    -------
    0 f. A) ]) P$ Q( O  u" R9 p" H算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    . R3 i& C9 @9 ~! ]' w" I没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    $ C/ D4 G9 B' q' ?' J2 s, b-------# e, U$ u! r/ Y2 w% [9 x
    不好意思, ...

    + a0 {( p3 X1 m& r, L谢谢,算法应该没问题,就是最简单的线性回归。" N. g& ]+ \2 R
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    9 Q. B- J* L* I# Q
    雷达 发表于 2023-2-14 21:524 S& }7 ?& {! O. k! s0 k/ {& W$ T
    谢谢,算法应该没问题,就是最简单的线性回归。
    ( w2 ?' m. {: p6 q9 h我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    3 h% I  d4 R% |- f- }+ K8 \8 B. C
    0 C+ |9 _  E# R  i9 q1 B
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。  s: t+ b: q) v3 M
    : L" Q9 [' I3 G7 H' i( |% D5 \
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    + E" l4 X9 d. q3 D
    老福 发表于 2023-2-14 22:00
    ' {( N; P& I) k. G. k5 v" p* z刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    3 i* l- {. B4 d: n' ~% v3 S5 g- @) s) V; y0 s  c
    或者把b但的起点改为1试试。 ...

    % R! o4 I% s' M$ S5 C: H+ ~8 R7 \
    7 F( ]2 H% [( g, x你是对的。
    ; Q5 H! f8 Q8 N' k  q5 P8 ?去掉了随机部分* [7 M0 J. Q) J
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)  p" T( f2 t0 v6 A6 p" X# _
    y = (x*27+15).reshape(-1), b6 d' d7 X! e; l1 J" N6 }
    7 C3 v* {% V4 n+ d9 ~
    循环次数加成10倍,就看到 b 收敛了$ J) F3 B" G( Q& ?, c4 n
    w , b
    6 L2 a  F1 [% V+ I: C, N/ r6 S27.002620697021484 14.826167106628418
    ; T+ @0 s/ U8 _0 S, ]! c; j/ J9 \4 K) v3 {# j
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-4-1 12:08 , Processed in 0.065299 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表