设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1841|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 ' E- U4 _! Z/ X, }" T1 r
    0 u1 u( J. n3 P" _! o7 X7 I
    为预防老年痴呆,时不时学点新东东玩一玩。* v9 Q: c5 l& F$ |0 t5 t: f
    Pytorch 下面的代码做最简单的一元线性回归:; N( e1 `9 n7 e( t
    ----------------------------------------------$ ?* R5 _9 |* D" t, L- A7 ~
    import torch
    3 m0 @" j; |5 [& nimport numpy as np6 N6 v" V8 [0 D, E5 b
    import matplotlib.pyplot as plt
    1 i4 D& k- A* K$ Jimport random
    1 M1 u( H" C7 `. H2 i9 o
    9 y  W6 y+ z/ T$ `# ex = torch.tensor(np.arange(1,100,1))% Y2 s4 |3 x" J1 `' f' @! |! X
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    * V1 o2 }8 I7 u
    , Q0 o- a' u" Z' Y. bw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b# a3 m) w, p' b; B
    b = torch.tensor(0.,requires_grad=True)
    . ^  Q  b' ~% y: ]: C
    / A% S* H8 l1 N# e- c' g% V3 }: P; Iepochs = 100
    0 N$ @0 ^+ ]2 M* G* \: r8 N# J) P; y4 q9 @2 W2 L# ^
    losses = []
    + f) O3 b- F, j4 g! f/ kfor i in range(epochs):
    $ v. R6 L0 x' B* I  y_pred = (x*w+b)    # 预测" ]# O' e# x# w( ]% Z; F# B
      y_pred.reshape(-1)
    ' H5 `4 g- q! S% v1 m
    - n, R, z: _4 c8 Q  loss = torch.square(y_pred - y).mean()   #计算 loss& H8 j  K! w0 I
      losses.append(loss)
    1 Q3 ]; H. ~( ^% d# k! I% Q0 [  
    - `; {* f& Y/ a/ T% C& Q9 ]' ~  loss.backward() # autograd
    . Y- g# e( x9 \  with torch.no_grad():
    , n5 y. u& `$ s8 @5 n0 e0 r( z    w  -= w.grad*0.0001   # 回归 w
    + Q8 _( \; s( L* s    b  -= b.grad*0.0001    # 回归 b
    4 h. Q  z8 N, s) F" e* j  w.grad.zero_()  
    & q# n' w- M+ O  b.grad.zero_()
    7 {" i6 {2 o) e9 G3 Q/ f1 o8 ?. J& e. B1 U
    print(w.item(),b.item()) #结果) A& P, k+ J; `; m& E9 M! R

    5 ]+ x1 b7 I% l9 }& ZOutput: 27.26387596130371  0.4974517822265625* r4 b0 d+ i# B' l
    ----------------------------------------------
    " U4 A5 O) \) J, C9 a7 w* C, b, M最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。. g) A+ }7 S1 \( ^1 F# ^6 T& e
    高手们帮看看是神马原因?
    8 N% b( v3 }& z

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 # w+ x" }- `2 f
    ! P3 ]! @+ d$ n/ ?" R% ^! L& |
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?" S) l3 B# W( V1 Y& L. r! }
    -------9 k; l$ p( F! d1 K3 F+ H  l7 H
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。' b# G' _: ^$ E. P' _
    -------5 O4 a4 h) N' j, X
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:237 g: |4 M: W& b5 n9 R1 ]. i3 K
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    7 Z+ P2 M3 M) _* _: b- u4 y-------
    , }- g$ I- y. N不好意思, ...
    3 H2 L8 I7 h5 K  B
    谢谢,算法应该没问题,就是最简单的线性回归。
    . v$ n$ g$ o. X7 H6 J6 A" ^7 W我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    % I5 X4 ^; P+ X% D% b* B+ h( X
    雷达 发表于 2023-2-14 21:52
    0 D- d( k! `2 Y谢谢,算法应该没问题,就是最简单的线性回归。
    5 a9 x4 ^$ {+ p4 Q* E我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    , g, I6 f) N6 p- N
    8 o3 _# l& ^* N
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    5 z( r, p) _0 v+ w/ q8 v! I4 a& G. e, H6 R. @- U- O( B
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    / u" k* X; ?7 W# S
    老福 发表于 2023-2-14 22:00
    . F1 a- A  f3 o) H7 B: y刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。; M& I7 B- g% |! _8 ]: R& T1 d
    1 ^5 Z& g- u. N. S
    或者把b但的起点改为1试试。 ...
    ! J+ E/ g5 ~" e/ u' G# D' w

    ' n7 x5 ^/ ^2 q+ u& q6 E* w5 m你是对的。
    & [) Z1 y# d6 e9 ~! B6 y' a! b去掉了随机部分
    / s8 x8 {7 |4 b# m3 Q6 s#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    9 d" K- u1 c% r! l% Ry = (x*27+15).reshape(-1)
    : e! o7 [/ e" _' y$ v  l8 A' \* @5 V( b. i1 P
    循环次数加成10倍,就看到 b 收敛了- k8 r( q* x4 e" W- M) m8 M$ y
    w , b: a/ j3 f5 S! _- Y. L$ m( q
    27.002620697021484 14.826167106628418
    # |! o8 T. P4 Y! w' z8 U0 w9 R
    . B( `" i% P  @6 Y4 k$ {+ d7 O和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-8-1 11:48 , Processed in 0.031562 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表