设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3089|回复: 17
打印 上一主题 下一主题

[工程技术] 利用 Deepseek 抓取PDF的文字并矫正。

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2025-2-2 03:35:19 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2025-2-6 22:17 编辑
2 T+ K! x' c! y& a" ?
% b  M9 l$ m/ E, j4 M把PDF上传,然后让他抓取文字,并修改可能的错误。; M! g! P5 R% r: t7 o7 X5 d
然后deepseek完美的完成了任务。
- y" u9 I) Y& c; ]2 c段落清楚,列清楚,页眉页脚全部去掉。2 t0 r& c$ M! C6 x
我要疯掉了!
9 ~9 C# z+ ~* o: c$ \/ h赶紧把自己那些成年老书给搬出来,deepseek,这是党和人民考验你的时候了!
8 r9 r& y0 P7 m  T5 u1 c1 b====4 J6 X$ c7 Y  b- w
中文也很完美。3 X& p+ G) i* H. D' l" P
经验值,每次十页比较稳定。3 h5 M& ?; Z( R: u
现在我这里API还不能用,等恢复了,全自动了。$ y8 m4 U' A, s& C0 R' j
====
3 u  R; s' c4 Y第二次疯掉了!- }% A4 u( h9 w& W* d% ^7 f& h9 W
我上传英文文件后,让他抓取文字,矫正,然让他按页划分,前面放英文,后面放中文,结果仍然完美。4 o3 ~6 I" W/ J2 p) V, G
====. Q5 Y" b0 W  |6 b
现在我让他从PDF抓取文字,矫正后,按段落翻译,可以一次翻译多个段落,每次翻译不超过一个固定数目,结果仍然完美。
0 T6 ]+ \# `* R1 W' H" m4 w但是任务多了后,每次翻译的页面数是减少的。
& T  ]+ Q, a/ ?好吧,我五体投地,继续探索。) q* G. P* P; h6 i% ^, q; j7 G
====! M7 \* ]. v6 ?' P2 M$ c$ e. S# H" |
为了防止中间结束,可以告诉他必须所有页面全部处理完就可以了,我现在是应该佩服我自己呢还是应该佩服 deepseek 呢,抑或都佩服。; j5 o- f+ \4 Q; \4 G
====) f/ O+ `1 ~+ }+ p( F& b; L
好吧,有些东西是不给翻译的,哈哈。
; ?! T' B' s( @. l2 ]7 n5 R: E% }: f2 i! u
Sorry, that's beyond my current scope. Let’s talk about something else.
8 D4 H& v: r" z* l7 @7 R====
) f$ v- p8 Y6 o/ v然后我的英文命令也让deepseek 帮我修改,呵呵。6 A5 n( h+ S* }  k5 n, n  w5 f, r
====, x  n' ^! o3 M3 N8 [
日语的文本他也可以处理,过程一模一样的。问题也是一模一样的,假名太多,汉字很少,我不懂日语,翻出来都不知道对不对。4 N! R5 y8 q7 B
====3 Q% ]& z6 i: \  D. n6 _/ o, b! X
时间段的话,北京时间的下午和晚上用比较好。" H& V7 i0 g3 d0 p: o
后半夜和早上,美国人上班了,要么在用,要么在黑客攻击。3 M+ b3 t. C3 ~1 o
====! _( ]# j6 O8 d7 ~, H. }
用千问吧,非常稳定,非常强大。
# ~9 k' E9 P  S9 C  Ohttps://chat.qwenlm.ai/
3 R+ ]- H! \) B7 g( u. c3 `====
& i7 ^# {+ x2 ]& B7 M& ]  MDeepseek,API 看上去可用了,但是不给充钱。8 `+ h" w& J: o+ ^" ]+ y$ B

( m/ j) G, K  y7 e$ K4 u# B! [
3 N. R) y, ?+ _" o6 y7 f
' T$ k6 Z& i! W; H8 z  X) S  ~

评分

参与人数 11爱元 +102 学识 +2 收起 理由
testjhy + 10
johnsonjian + 10
helloworld + 10
laser + 10
笑羽 + 10

查看全部评分

  • TA的每日心情
    开心
    3 小时前
  • 签到天数: 3789 天

    [LV.Master]无

    沙发
    发表于 2025-2-2 03:53:32 | 只看该作者
    这功能很赞呀

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
     楼主| 发表于 2025-2-2 03:56:21 | 只看该作者
    马鹿 发表于 2025-2-2 03:53
    2 f$ d; W# J5 c1 c1 ]这功能很赞呀

      z! N8 N+ e$ f, c% `* s% t6 Q+ I4 K简直太赞了,我现在正在思考还有什么工作需要 deepseek 干的,现在的上限是我的上限,不是 deepseek 的上限。

    点评

    给力: 5.0 油墨: 5.0
    油菜: 5.0
    油墨: 5 油菜: 5
      发表于 2025-2-2 08:23
    给力: 5
      发表于 2025-2-2 04:41

    评分

    参与人数 2爱元 +20 收起 理由
    笑羽 + 10
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-1-1 00:00
  • 签到天数: 793 天

    [LV.10]大乘

    地板
    发表于 2025-2-2 04:13:28 | 只看该作者
    有没有上传整本书试试
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    5#
     楼主| 发表于 2025-2-2 04:27:15 | 只看该作者
    indy 发表于 2025-2-2 04:13
    ) X3 o' _" M; N( s1 q9 Z' G有没有上传整本书试试

    " r2 S: z+ s5 K9 h6 v5 O( b目前看来,差不多十页左右就停止了,看看还有什么诀窍不。

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10 谢谢分享

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    3 小时前
  • 签到天数: 3789 天

    [LV.Master]无

    6#
    发表于 2025-2-2 04:41:51 | 只看该作者
    本帖最后由 马鹿 于 2025-2-1 15:43 编辑 ! W, c( O2 M0 P" F( O7 x

    0 Q) I2 b& b& H: O- d- ]. [以后让deepseek 读出土的竹简! P# K3 \& C4 z3 ]2 E% v& b

    - c0 v1 v4 d$ v& D: L, P还有把古文翻译成现代白话9 c: J6 `: L3 T3 [4 z0 o# b

    + _" \, R1 M. u5 N8 p( U8 ^% k以后不认识的字不查字典了, 直接问deepseek
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 06:24
  • 签到天数: 2948 天

    [LV.Master]无

    7#
    发表于 2025-2-3 01:23:54 | 只看该作者
    请教是如何实现的?
    ( B  p* T- ^1 d# ]" ]$ f
    ; P: H$ V$ H# r我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后,发出指令提取文件中文字,始终是文件解析中。直接在DS里问如何上传PDF文件,并提取文件中文字,照做其实是一样的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
     楼主| 发表于 2025-2-3 03:06:35 | 只看该作者
    方恨少 发表于 2025-2-3 01:23* g% Q6 s  Z8 d; J; w* E
    请教是如何实现的?# S6 m6 c! G, d1 _& b
    " M) U$ B  A. p: L
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...
    2 Q+ V7 k" @' w4 v( k- q4 q& I
    ) D' Z7 F" W# [6 k% \8 d% L
    我现在也上载不了了,"upload failed",几个小时前还好好的,应该是服务又受攻击所以功能收缩了。% \! _/ w( E* g. S
    文字之类的没问题。估计deepseek现在暂时只保证主要功能。
    5 R5 c" h8 @9 U) d! M. t美国人就这样,打不过就耍流氓,估计要等一段时间才能完全恢复。* v3 a& F5 c& L9 Q7 |9 b

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
      发表于 2025-2-3 03:40
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2025-2-5 00:15:37 | 只看该作者
    方恨少 发表于 2025-2-3 01:237 z# D0 U4 a# L6 E/ |. _9 @
    请教是如何实现的?6 c& F/ {2 p) E% w  q
    + P0 ~4 l# p, o- J' P0 A
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...
    & [8 o! O: _6 i% M7 k7 j" p0 r) H8 P
    https://chat.qwenlm.ai/
    6 |% e4 E' Z/ P5 n试一下千问,估计美国人没有攻击他,所以资源敞开用。0 P, b( u9 _8 p# d( y
    很稳定,质量不错,好像最多一次处理15页。
      G+ @/ y! f# w" d5 [' @8 \& Y我直接拿deepseek的指令用,没有区别。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    3 小时前
  • 签到天数: 3061 天

    [LV.Master]无

    10#
    发表于 2025-4-16 17:01:29 | 只看该作者
    试了这个工具,可以转成markdown,正确率很高,有漏行,图片会放在一个指定的目录下。
    & V( M4 q" l& |7 `+ p处理一本100页左右的扫描版本的中文PDF,一份某行业的接口标准,纯CPU,几分钟时间。
    : r5 z  _7 t! Q) n1 l这个工具不能处理表格,我把文件拖到豆包里,“把这个文件中的表格转换成 markdown。只是表格,不需要其它内容”,表格多的话,要发好多次“请继续”。# x2 @5 {7 q8 ]; K8 f3 a7 L; h5 t6 o

    , \9 H- G4 z+ |. F, j+ qhttps://github.com/oomol-lab/pdf-craft4 {# n2 N, u" h$ W. W4 C! K, H- D1 O
    + j  K" P3 h7 A0 W7 t( l
    1. 这个工具要求装 python3.10
    ( K6 V+ B' ^3 B7 X. N' r2. pip install onnxruntime==1.21.0, 有英伟达的卡:pip install onnxruntime-gpu==1.21.06 w3 B+ c$ t8 P2 ~8 q( Y7 g: e) o
    3. pip install pdf-craft
    7 N9 b) n+ K+ C) E; T3 v4. 把下面的内容写到一个文件里,例如 a.py
    ; y+ E* t7 }% ?! q" w. s4 V" A2 P7 q' ?5 K/ M8 V
    1. from pdf_craft import PDFPageExtractor, MarkDownWriter
      # [8 H- p6 \( O9 b( `
    2. ; x8 ~- s8 w: m3 z# ]* r! U- H
    3. extractor = PDFPageExtractor(* P  y: C+ e* }6 r: F& |
    4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format., j  E7 S" p5 b% O- \) ]/ t* X
    5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
      8 K% ~$ t9 e2 B8 D% @3 t1 J9 S
    6. )
      ( A4 T' O/ W" T3 R3 Q
    7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:3 D7 Z; P: F' a
    8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
      8 K. X" z/ O( Y/ t* ]
    9.     md.write(block)
    复制代码

    9 S! |$ C6 L* m  Y; p' R; ~' u! H9 Y
    要修改的内容:) o- t0 ^7 i! f+ h% x' {& j1 A/ l
    4.1 /path/to/model/dir/path:存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型,国内的要科学上网,国内的镜像上没这个模型. }8 E3 N. p% E: _
    4.2 markdown_path:输出的 markdown 路径文件名
    9 S$ S( N3 U6 `- Y9 x- a$ n+ s4.3 /path/to/pdf/file: 输入的源PDF路径文件名8 ]. q% k$ N5 u
    & J/ M+ G& s0 I% m' g3 r& ^
    5. 运行 python3 a.py

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
     楼主| 发表于 2025-4-16 19:47:30 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-16 19:50 编辑 ! d+ ?. L& n% l9 |  o8 p# ]

    ( S) q! i, P7 B$ B+ a" K目前为止PDF转纯文字的最佳办法。
    9 P. _# H6 {: N' s9 p' F先写个小程序,把PDF按章节切成小的PDF。
    3 O6 O+ t/ v' R6 w& L/ W% x然后,把PDF一个个传到deepseek,让她抓取,除错,输出。
    # k% T! _: v, B7 A" V  K效果非常好。9 o0 k9 p/ W, M/ P. c( o% D. I1 Z

    ( G' a+ H; Y  b: V4 s1 ]deepseek,qwen,chatgpt 三个,deepseek是最好的。
    # s2 i7 \0 v1 `9 |
    & {5 M4 Y4 s1 d8 u0 rdeepseek 把页脚页眉页号全给去除干净了,跨页的段落也给你修好了。
    " O+ u* D8 ?& j& h而且deepseek不会加戏,chatgpt有时候会想当然的加上没有的文字,让句子看上去想那么回事。- Q! }6 W5 Y; f- @
    我曾经修一个历史文章,chatgpt给我活活加了三段,真是文豪。
    ) u, F' Q" |& M2 s9 `) l- D8 }. ~5 T1 S" n1 O2 R
    API到目前为止,差强人意,不如网页版本修得干净。
    6 n) `. B/ e! O# j; x4 A4 x9 ^" h7 q0 u
    * t5 p$ ^- u# a  qdeepseek可以同时开四个。7 p6 s/ Y0 _% Z6 u, J) e

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    12#
    发表于 2025-4-17 12:26:23 | 只看该作者
    本帖最后由 三力思 于 2025-4-17 12:27 编辑
    1 c" j) R0 Y  \+ {, D9 j8 {! X( }& u! }$ S; z+ K
    让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
     楼主| 发表于 2025-4-17 16:33:20 | 只看该作者
    三力思 发表于 2025-4-17 12:26
    ) j) H, w$ z& p8 E- R0 Y! l让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL ...

    8 [# s7 K; n& }( m# l! I. g. ^细说一下,听上去很不错,多谢。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2025-4-17 21:22:24 | 只看该作者
    nanimarcus 发表于 2025-4-17 16:33
    : A7 ]6 Q( I3 S9 i细说一下,听上去很不错,多谢。
    $ o9 u3 }7 G& Q- U5 W! E! r
    直接问DS,“用C#,JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
     楼主| 发表于 2025-4-17 21:55:57 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-18 15:39 编辑 % u% m) x; v/ ]( Y( k1 z- d
    : k) T6 E% h2 v  S2 F4 {! z
    已经搞定.8 W7 ^8 s0 Z4 Q: j1 c4 ~- C( L+ z
    6 F9 _# l; |& ?+ z/ `+ h  J, h1 K
    首先 PDF 本身已经OCR了,Adobe Acrobat Pro中自带这个功能。; X2 Q* ?9 s) Z6 U& W' p7 x7 E/ T

    & [1 L4 ?# b/ p; }) ~+ Z% V! J1, python + pypdf 按章节拆分小的PDF5 E, M2 K' R- P; h' Q4 ?

    % j0 V  W1 {- \  D/ H2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile1 E1 j& y1 c+ C
    : C( f7 e( j. ~& i9 m
    得到text file9 U, F3 a9 z' w2 Q" X! B* Z

    : {5 Q/ n; a0 d. o  Z. i: \; F  x. M3, python 读取整个outputfile,丢给deepseek 矫正。4 l& e) v5 S4 n/ H9 C
    2 S/ {$ n$ X" v: t  f& E. P
    模型是 deepseek-chat" r5 j- f# }; ^* n: Z1 ?! w

    8 Q6 N4 g- |  p( r, h" Smax_tokens 最大是 8192,别的不用改。
    5 L% G1 b$ l- H" J$ h1 w8 s3 v& Q
    ; U3 V, o2 V* `) Q. B0 \参考:
    * ^2 |: s' W0 m, y& L. J4 ghttps://api-docs.deepseek.com/api/create-chat-completion
    7 _7 b+ y" v5 n, z0 S2 @, I& E
      ^2 Y8 l, c9 O; E# t4,费用:
    7 O. H( z9 P9 J, _2 o" K7 a) x2 N2 y- p7 j! h; c
    实测:
    ( i$ Z. E% V; e4 K; d
    ( t7 J+ C# P- q  t; ^- I& A296K 字母,用了 9 美分。
    6 B2 O) P9 T# P; p7 c7 }2 a$ \' a  v; o7 R( Y8 F
    英文字母 到 token 用量大约 1/3" W) Q- o7 ^, J) F/ v& Q1 X
    , i9 ~+ X% d( ?+ x+ {/ u) g
    tokens: total, 11782 completion,  3729 prompt,  8053 | s:  328999 }) N3 ^) A! k+ m7 j7 O
    8 L' `0 `6 G6 B9 R; B8 l
    32899 个字母花费 11782 tokens,包含输入输出的 tokens
    & q; [8 b5 I: |0 A8 D, ?+ b1 Z! c( K4 J1 U8 S6 _0 a
    价钱,非常非常便宜了。/ v3 G$ b7 ]5 z
    $ R" y; a' _9 v$ n. j
    参考如下可以计算,懒得算了。& i- Z- K: c9 j+ E  D! n
    4 z; M  D7 D! S7 b% k# B) n8 ?. q* V
    https://api-docs.deepseek.com/quick_start/pricing- a9 I1 X7 Q6 ]/ }7 G8 G# P
    " ^/ w" V% v" V' I2 m
    1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
    # N& _7 [$ h0 V6 G$ K) U5 ]5 w) c1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55) L2 u  \+ _0 |$ d6 N6 H
    1M TOKENS OUTPUT(5)                                              $1.10                $2.19$ i% b) }. S1 m  q% }0 K  k

    5 U* ^$ L1 d2 {& M5, Balance
    & z: j. N- W5 I7 B7 T3 X9 _: t, r# s
    可以在程序里调用,知道每次运行结束后,balance还剩多少。
    : X0 d7 l4 u# n/ }* M: s/ j参考:
    , V$ c4 Z  o- K& Yhttps://api-docs.deepseek.com/api/get-user-balance5 q, K/ ^2 ?0 R' s' g/ e# h4 d4 J

    ) K# A- D) t" [; Z6 [2 @) `, H6, Models
    5 `. ?0 N$ M& m2 n" }# i  j" b' z# a/ f' a' ?1 W; I
    目前就两个
      B& R5 N9 g7 F2 t( V# deepseek-chat
    , ]) h( G1 N1 @# deepseek-reasoner
    & a, x! |. O- i7 F% Q0 ~
    * E: [& V# n7 ~9 B' {3 z* c2 E参考:
    0 f7 k0 Z2 P$ i" D! H5 `https://api-docs.deepseek.com/api/list-models8 x% ~- Q! d8 l) b8 Y* z
    + X6 T" g' A) B/ _2 s4 e
    ' y/ q2 b! H& c- ?  S& G* c
    7, 问题0 Z& v/ x, r  }% N" P3 i$ Z2 Q2 E
    5 X9 Q5 S# h3 B7 i  a
    deepseek 会将前后两段合成一段。
    + y# f9 L3 k; @' d$ M: Z特别是那种大量的对话的段落,deepseek会给你合成一大段。
    + \/ ?% u9 H3 f9 v% ?
    ; S( J/ A+ ]& N8 O. M- U8, 钱说了算。
    % l6 a& t0 n3 O; @3 p$ v/ n% \# |% W4 \! M1 `8 ?$ c; h& J
    deepseek 如果是免费的网页版,有时候会出现超出范围的提示,不干了。
    7 `4 s- x+ v0 i, A但是API就不会出现这种情况,毕竟我们给钱了。* ~$ }8 F  y% l; r% I* {3 i% s
    chatgpt也是这样的。
    % A. i, F6 o, \* t7 `' j6 f' K  ^* T+ c

    % F0 N, |# u! ]) y1 R

    评分

    参与人数 2爱元 +14 学识 +2 收起 理由
    唐家山 + 4
    老票 + 10 + 2 给力

    查看全部评分

    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-5-19 04:03 , Processed in 0.069391 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表