设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3235|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    # |3 G, J: ^0 I* a% D1 Q* f7 G7 l8 T2 O0 {
    为预防老年痴呆,时不时学点新东东玩一玩。" B3 s- K7 @: o3 x6 p+ h( }
    Pytorch 下面的代码做最简单的一元线性回归:
    3 |, O2 G2 k2 r% @8 C- _1 O- `----------------------------------------------
    4 l. N  H, ?5 G% Zimport torch
    6 ~+ ?  z' v3 _8 t! M- x$ `7 C! wimport numpy as np. J  R/ `+ B7 m* M& c* @
    import matplotlib.pyplot as plt
    ) X+ o7 }  n" b% J7 {import random
    - m3 d& v- S. F* \0 a" k% f0 [# T7 c2 V( f
    x = torch.tensor(np.arange(1,100,1))& i- D- F# o: B- N9 R
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    ) v- m# y) C( ~% ?) F' J2 \9 |
    * y: j( i" [8 {4 n( Hw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    . y) u/ N0 l# Gb = torch.tensor(0.,requires_grad=True)
    2 C% b- O. T$ L% M: C
    & Y- r( j, e1 Y- J3 T" O1 nepochs = 100( b  ~* B2 T, {1 X  Z
    - w1 o4 G  L# d! u
    losses = []
    ! s" x+ T' y  L) {for i in range(epochs):
    : y2 ?# z* ~. P  y_pred = (x*w+b)    # 预测
    2 K0 V& n3 a; @; u9 M  y_pred.reshape(-1)
    ; D" {) t9 B1 m8 X1 p( Q: L
    ' {7 o5 A5 s7 t. [! x5 j, H  loss = torch.square(y_pred - y).mean()   #计算 loss
    5 N( Q0 {; A. b7 ?( u  losses.append(loss)8 m# x9 S" B; E1 L0 E' g
      
    2 i6 Q6 o. P% A$ e+ N' G  loss.backward() # autograd4 b+ K- C+ s# E9 A) n
      with torch.no_grad():# F8 k% U) [# v+ U8 e
        w  -= w.grad*0.0001   # 回归 w
    + V! b4 A4 Z: G% g* G8 v    b  -= b.grad*0.0001    # 回归 b
    & S6 ?/ r8 `3 [; z1 k* y  w.grad.zero_()  / K6 {8 o5 j; e
      b.grad.zero_()
    8 N" a' C1 L9 e/ b$ r" g; ~
    " F7 H4 u+ j! K1 L8 T6 L% a9 b2 |print(w.item(),b.item()) #结果& J- |/ a3 Y4 e2 h  w  `( s; y

    + v4 B3 Z# {" ^4 aOutput: 27.26387596130371  0.49745178222656250 q1 s- ^  v, k1 s) k; B* H4 H
    ----------------------------------------------
    9 c9 ^5 R' w) q3 G( D最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    ( E  x; L5 p, C" Q高手们帮看看是神马原因?
    / V* m- S& R) v3 W% Q4 W# p

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    & b- {9 D; n/ k7 A' k
    & r/ [! ], x. K没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?3 }3 Y4 q0 H# i) D) `& W6 p
    -------3 Y  I5 P3 s/ d( H/ z
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    2 h. k1 l- I; ]0 d! v-------5 k/ B3 Y# n% i9 i
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23& v. s4 H6 _* o- M( n0 V9 v
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ) [6 i" |! Y. F2 K# g9 w: V5 X-------
    8 M0 D# C/ n0 W0 v不好意思, ...
    6 g, U7 m, a6 M' k3 o  z; {( E2 J# a( `
    谢谢,算法应该没问题,就是最简单的线性回归。( h4 t# k* ?3 Y7 f! t6 r% Z
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    0 h' D+ s/ P+ n1 w0 n* m
    雷达 发表于 2023-2-14 21:52+ }) \0 k; e3 t5 D
    谢谢,算法应该没问题,就是最简单的线性回归。2 n4 F0 f; f* k( `4 F3 ]
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    ; G# u5 t5 v. Z) {5 c1 }
    ' N/ A* e' D+ h. v) W9 b
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。5 d3 B1 V7 u% N9 S$ ^

    , h- G7 T+ V- ?7 @5 }9 v* r或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 & D) d0 A, c; n: M& c; u" B5 a% D
    老福 发表于 2023-2-14 22:00
    : Z& ~' `2 G- r9 m% e: s; M刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。8 `$ f5 X3 ]5 t& R

    ; s  ?9 m0 V4 o6 v+ z  T或者把b但的起点改为1试试。 ...
    " D+ R" U6 h( s: `
    / B2 [5 i. D; ]5 n
    你是对的。/ |$ g- G; W; d, p5 }. t
    去掉了随机部分$ b! A% M& N& w3 D
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)
    " M" L# r. l: U( U4 T# C6 `y = (x*27+15).reshape(-1)
    9 [; W. u) y( Y& h" {0 ~7 t
    , k& ?5 Y5 X# t' p* u6 y9 Q0 N2 {循环次数加成10倍,就看到 b 收敛了) P  B. Z$ d& [" I: ~7 ^) R
    w , b% w( Q. V- h( H/ j; I. u
    27.002620697021484 14.826167106628418
    7 c% @# F  d" L" c, D. T2 p9 F& T0 ]' u) T% G! X- o( s7 S! ]
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-7-11 16:56 , Processed in 0.058499 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表