设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2543|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    5 w/ U; b  t3 s" h) O5 P3 i# H* T1 G$ x% h+ y
    为预防老年痴呆,时不时学点新东东玩一玩。# N7 F3 |8 q9 l2 j3 E. E5 G% W9 h7 ^
    Pytorch 下面的代码做最简单的一元线性回归:
    3 x$ X/ f' d  C* v, `+ U# ~----------------------------------------------& }/ \/ R5 C5 w2 j/ m# B
    import torch
    # v4 ~+ r0 ]6 k0 l: timport numpy as np: B+ f0 D0 p: k
    import matplotlib.pyplot as plt
    * H/ V# f9 P7 s/ b/ kimport random/ N  E1 T4 z2 e, |: T- W& C

    5 |7 E  g( l* ]+ Z/ P/ ^x = torch.tensor(np.arange(1,100,1)). T) a2 ^, U: E
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=159 ~0 s$ Y' S: W2 J: x1 {2 H4 S

    ! p1 u* j# H/ Q7 k. a$ c1 Zw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    " M6 b7 R8 B- @! F4 Q0 b# y$ c$ rb = torch.tensor(0.,requires_grad=True)1 w7 A6 d" |7 \; c

    / g' m8 Y* f/ @7 h* Yepochs = 100
    3 l. z: r1 z- v7 {1 _
    - ]: w% @5 J( w' Olosses = []% F5 e* R. K7 w+ [& D7 ^3 G
    for i in range(epochs):' J0 f7 w2 x$ k. K
      y_pred = (x*w+b)    # 预测
    + I, r* R2 s: g, J3 V8 r  y_pred.reshape(-1)
    & v9 J- q" x6 u $ J+ j, n( d- `; R& i
      loss = torch.square(y_pred - y).mean()   #计算 loss
    $ G" M# t# c* Z9 e0 A  losses.append(loss)) I& F$ h; p- e  ]5 H6 [
      
    * R2 @  U) i: O. ?8 Y5 {8 k  ^4 A' q  loss.backward() # autograd
    2 {8 X. d; P; r+ l4 Q+ L- |  with torch.no_grad():
    * h0 E1 Y- ^- s" w* v1 `" b. z& `+ O    w  -= w.grad*0.0001   # 回归 w
    % {( {. e* i0 \! e4 H, E- i    b  -= b.grad*0.0001    # 回归 b
    $ l5 D7 H' T2 P0 H  w.grad.zero_()  - a- V0 \/ Y' h3 M7 }* ?
      b.grad.zero_()" ?" N5 D8 g/ O# Z# n

    # F9 ^0 U6 G  [- Eprint(w.item(),b.item()) #结果) I6 [8 i( ~4 Q* a/ Q2 _$ F
    " D: i( k/ a, w, F3 K
    Output: 27.26387596130371  0.4974517822265625
    ' s' g  I5 d6 t6 q& ?4 e----------------------------------------------
    ( n) @/ P, V! |# g9 m5 F9 J" {; a最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    ) s: }7 q  I1 N9 P- Q高手们帮看看是神马原因?6 p7 R1 M6 q1 }: T1 W5 }

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 + q7 Y- g6 n# F1 K
    0 x- ^  j4 B9 d. \& Q/ w
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    : g# ~7 k0 Q8 I# @-------
    8 u4 Z/ Z7 Q3 I9 ?* M2 j  e( @7 A7 G8 ?不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。; U  ?6 m$ Z% z9 C4 m! U1 T
    -------
    7 L( o1 e, q+ E& z: d+ k0 S/ d$ l算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:236 M% w4 P* W: A* h2 X# J
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ; Y4 Q6 d4 l& Q-------
    , \+ G# X. [# ]6 s) `+ ^不好意思, ...

      d2 M1 ~$ O: E8 }" a谢谢,算法应该没问题,就是最简单的线性回归。
    ! x9 _5 f, J# O我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 4 L' V7 K5 {' d8 g
    雷达 发表于 2023-2-14 21:52
    2 P" v% `! t0 m" n! O& O, h1 E谢谢,算法应该没问题,就是最简单的线性回归。
    ! F" r8 |1 R7 t0 P8 H7 M/ {( y% ^我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    1 v9 x8 a0 Y9 `

    & F4 H& Y, s, j. B  m& P: O刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。6 {  b* u' X& H7 O9 h* }
    - l% p! T4 H1 m9 j: o
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 . A* o- O$ R; _# H
    老福 发表于 2023-2-14 22:00
    3 a9 H, v% B# R+ X! u  z刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。5 t1 Q6 l: C8 K% i7 ]& g

      E, j+ Z/ N8 J( G* i2 p或者把b但的起点改为1试试。 ...

    ; W: A" U9 e- K
    ' o- ^9 D6 {) U1 V! F9 G你是对的。6 r7 H1 O' f* j! g7 F
    去掉了随机部分
    ' r# \, Y  X, Y/ Y/ r2 _5 m. ?#y = (x*27+15+random.randint(-2,3)).reshape(-1)$ [; s0 g, B% \, J- M) R
    y = (x*27+15).reshape(-1)! n3 B' P( d7 a8 X  j+ F" c3 a

    ' u' Y" b1 B% s9 p% H循环次数加成10倍,就看到 b 收敛了
    ( [4 R& T. _6 Tw , b6 H' A  s& k0 z, E
    27.002620697021484 14.8261671066284181 C3 c. G% U6 X

    : z! K- `0 ]  _和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-3-5 03:32 , Processed in 0.053760 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表