设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1995|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 : Z! H& Z& V1 e
    - {1 M( h% c) X5 g
    为预防老年痴呆,时不时学点新东东玩一玩。
    9 Q6 P. }2 H: L  r/ sPytorch 下面的代码做最简单的一元线性回归:) W& n& r% R% E
    ----------------------------------------------  m4 l8 g, h$ h4 M: x4 v" @
    import torch6 n' f4 Z! C7 K; b7 @5 |
    import numpy as np
      K8 e1 N9 g* {& J- M: himport matplotlib.pyplot as plt
    2 Q& g$ u8 q. S6 }import random
    4 X* O+ C4 I9 M% w1 l2 x% c* K9 S' h
    x = torch.tensor(np.arange(1,100,1))
    : [6 R4 a" F  v9 Z8 b" B0 n/ hy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    3 `2 T! |# d) F% J6 q" r+ f2 P! T- ~* a8 @) ~
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    & G* e' ]/ e9 x' Y% b5 U" Ab = torch.tensor(0.,requires_grad=True)
    4 e* j! Z# i" g$ Z: t( z- P. o' g' {
    $ O0 l& H8 q' m( `epochs = 100/ V" E) P  B7 I7 n! h3 k

    , m0 A7 x6 e! |) n2 U0 e& {losses = []# J4 z- Y2 L; _* I
    for i in range(epochs):
    - U9 h2 v2 l: |+ x' n7 m, I: N  y_pred = (x*w+b)    # 预测8 D3 [4 r0 z# V- S
      y_pred.reshape(-1)
    , j& q! x% C* ]8 g* P / x8 ^7 m, A  P( O8 R% J) E
      loss = torch.square(y_pred - y).mean()   #计算 loss  h. Y& O% R- _5 y
      losses.append(loss)
    ' |$ G* R6 H/ ]  Z+ s/ c$ J% m  
    : V% ~( H# I+ N: Y$ }% |2 ^  loss.backward() # autograd
    6 ^& P* Q& Q( t- o9 @  with torch.no_grad():
    6 g( y. O) R/ E6 c    w  -= w.grad*0.0001   # 回归 w  C, X9 _7 m, W! y9 _' x) o
        b  -= b.grad*0.0001    # 回归 b + p5 o: Y% [2 b7 b
      w.grad.zero_()  8 u4 Z1 i: t+ O6 @! ^2 A, q: E; J
      b.grad.zero_()
    1 V. W7 G) o# F) P+ B4 T
    - u* q- E9 Y; b/ A. L4 O. g$ _print(w.item(),b.item()) #结果
    1 C" D( c) M3 ~7 e1 ]" [4 w+ h& u: y* F% C' G
    Output: 27.26387596130371  0.4974517822265625
    % q6 o+ H0 k4 g; F7 n: {1 ?----------------------------------------------
    + F& t6 L+ i! U8 D0 b最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。7 d- s5 ]& i2 ~
    高手们帮看看是神马原因?
    ( N! X6 k6 D' l* x3 {6 y- o

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    0 ~& D- j' {4 F4 V; _$ j, j) }4 ]1 e0 X
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?' H! Q9 ^+ Z- q0 e) ]/ A. Q2 |
    -------; L- E0 a) ]$ f$ U- N% N- N
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。& F7 Q( ^. J" y! k
    -------' [$ Y2 j7 U; V0 l" `2 ~( u
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    + ~3 V# j( \7 ]3 G* U没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?! v* V" E  E3 b
    -------
    - |9 |' W8 I: G. Z1 H8 b9 B4 C不好意思, ...

    2 b; G% @; P7 S  c' ]: ]谢谢,算法应该没问题,就是最简单的线性回归。
    7 O1 N4 ?5 I# p  a- i/ Q# V, ]我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 9 A& ?* ]" \4 b! A$ v
    雷达 发表于 2023-2-14 21:52) @/ `8 H# o# V3 k
    谢谢,算法应该没问题,就是最简单的线性回归。
    ( J2 s# b. @$ o7 l) N5 b我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    8 k# N. p6 ~5 x, s: S" s2 [6 j5 @
    4 ]4 w, Y! D1 i7 @6 y: B* V/ ]
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    * Q+ }; q% q& y+ v/ {7 B2 O
    $ ^9 x- V6 s2 |或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 $ [$ u( q& N/ r( c* h  j
    老福 发表于 2023-2-14 22:00/ M$ c" J. k+ u/ j1 G2 L
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    " ]4 i  N! K* f: P5 @& l" h9 N' z$ i4 O2 l& y# M
    或者把b但的起点改为1试试。 ...
    , g4 d9 C- v/ @2 K$ V

    : G- x5 I, D( L' f你是对的。
      L4 B8 c; p, B4 e" @去掉了随机部分% Z  f2 k+ Q  |" J% R% f1 Y
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)
    . c: S+ m. @# F. t- C& gy = (x*27+15).reshape(-1)( E% `3 {& z( L; {3 J% a

    9 u0 t. Y6 ^* \0 D/ h$ v循环次数加成10倍,就看到 b 收敛了
    ! \# T0 q. u7 l% B/ T. ew , b; \$ B4 V- U3 s; W' s5 \
    27.002620697021484 14.826167106628418" t$ _, J! A9 p# f) ]1 b
    - j% l/ E+ ^" R/ v: {% G
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-10-3 04:56 , Processed in 0.033525 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表