设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2355|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    # y1 x, G- J( K+ w- L3 @" \* s. {& G9 N! F& w1 F
    为预防老年痴呆,时不时学点新东东玩一玩。. f# ~  O4 B( \2 _3 d- ^7 C
    Pytorch 下面的代码做最简单的一元线性回归:( O! a2 G" p8 H" Z
    ----------------------------------------------
    + B% |& q5 Y+ a  I) H$ t. N  G7 Bimport torch
    2 \/ x! I( ~1 W( U7 Limport numpy as np
    2 E9 k3 C  v2 H6 R. Bimport matplotlib.pyplot as plt
    % ~2 {% d9 E/ t7 H) n; Mimport random+ V0 Q/ J+ Q  n$ F3 l

    3 c% m: e8 G% H! hx = torch.tensor(np.arange(1,100,1))
    3 t7 F) _& q6 cy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15* ^/ f4 J  V. J2 ~& t# N

    ' V4 x+ Q8 o4 r+ Cw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    $ v. t4 t1 }5 F$ J" H7 Cb = torch.tensor(0.,requires_grad=True)1 K# `& e+ j% h( T0 u

    / o9 P+ _( u2 Y( O' U( xepochs = 100
    6 r% G+ D" V2 t8 P! k  Z
    + K7 Y' P" K/ M" z. M% P2 }' a( vlosses = []) c" J3 g5 h7 O  D- [& |; W
    for i in range(epochs):
    : {  l$ L$ h& B* a  y_pred = (x*w+b)    # 预测
    4 v* S# g* H3 K) {  y_pred.reshape(-1)+ T8 x7 @, K! H; o% X# V; V7 ~* x

    , f3 F8 h! h1 y+ E- L  loss = torch.square(y_pred - y).mean()   #计算 loss( E% s' C9 M. \4 ^( T% U. z# A
      losses.append(loss)
    $ K  P/ Q, P; S8 Y5 X  0 Z$ u2 t7 v2 N+ g7 g* y. q7 n
      loss.backward() # autograd* J# z- s0 Z# V4 V; K
      with torch.no_grad():# [7 T% \. v* s+ u/ ~2 M
        w  -= w.grad*0.0001   # 回归 w
    & y* ^( Y/ Y: Q' ^8 [! z* r    b  -= b.grad*0.0001    # 回归 b
    4 z5 q! y5 s7 R. m1 O/ d  w.grad.zero_()  
    5 W5 y* x. F% K  b.grad.zero_()
    & O* A: v" W- ^3 H# a/ o  M( L
    / h' m" M" v  Q* r, K* ^2 Z8 p) K7 w2 ^print(w.item(),b.item()) #结果
    4 ]/ `$ |5 F6 }' V& U' {3 D  y0 }' c7 G, X8 ?0 f1 F  a) s  w+ {
    Output: 27.26387596130371  0.4974517822265625" h/ n- O) F- V' i2 S- ^1 E( I6 d
    ----------------------------------------------1 a" x8 b, _% }
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。7 u" I1 ?7 L: q' [
    高手们帮看看是神马原因?, H- y  n0 h  f* y1 Y( q

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 1 U% Q; _5 @+ L# G) T

    # P8 {$ O, S# y没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?- t# X, X: A0 V* j; Z
    -------
    . @, D* l3 D. Z9 Q: r( p不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    ; [; T: _( k# K7 a" r& l+ x-------
    ) _' e0 L6 E; o4 q算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23  h5 L# }. Y* g- Q4 U7 K; i0 X- o
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?0 r9 I5 J" H. x. |0 ?% O9 W* N- K
    -------
    + f. r' C! r0 `% \2 K- E) K8 m8 ^! a不好意思, ...
    0 K  |; E* r7 N1 s
    谢谢,算法应该没问题,就是最简单的线性回归。
    ; `0 A) r( O( u7 V8 g4 O我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 ' \4 w% T) g. f1 D
    雷达 发表于 2023-2-14 21:52
    3 j% w) T; ]' c1 Z+ g谢谢,算法应该没问题,就是最简单的线性回归。
    0 B: d$ \1 A/ f我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    ; W. J% W( y6 N3 r/ @$ Z
    - e% G* p0 |4 B0 F% E刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    4 S" }/ {, b) q- r' U; c2 s7 e
    7 M) A7 u! C3 ]$ g! Q% b或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    3 X" u/ A8 T8 `5 X
    老福 发表于 2023-2-14 22:00
    - j' S$ u+ h' B刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。3 u& }: u% v) f% C+ a4 q2 t
    + }, P3 ~9 w5 ?8 C6 o& Y1 u
    或者把b但的起点改为1试试。 ...
    7 a) z+ x. ]* n2 O
    / z$ }/ |! t/ B1 r3 u% i
    你是对的。7 @+ [! Y- f3 f
    去掉了随机部分! ~: K  y! O, l2 A" M. ?
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)+ [/ `6 S8 n* h% ]1 e# V8 w
    y = (x*27+15).reshape(-1)6 J: }5 c/ X' `! C: E6 Y" m, u

    , h1 ]% o6 p7 g; i) a2 }' r. {2 C循环次数加成10倍,就看到 b 收敛了
    - l; h! t% |6 \; X6 x- U* Ew , b
    4 c  D' d) k. b  Z; l27.002620697021484 14.826167106628418. W7 N$ E% \5 z6 F/ \, b# R7 o' |1 a: L! R

    ( J" P5 f' n& Q( K, |, K  [和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-1-19 11:58 , Processed in 0.031218 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表