利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

# [+ r( w1 L+ p$ ^. q
( S, ]! t8 g9 h- ]& L把PDF上传，然后让他抓取文字，并修改可能的错误。
* L- \' y5 e; y: E然后deepseek完美的完成了任务。
- S$ n" N# F9 K- o3 W" e段落清楚，列清楚，页眉页脚全部去掉。
我要疯掉了！
  f7 }! ?8 e; p0 D赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
  M& Q8 v7 p" \: b8 q+ w+ g====
中文也很完美。
经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
  P$ L% E8 }+ L# P====
第二次疯掉了！
3 E) L7 ^  a, U" t我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
3 o( q  F+ ]# X9 `& Z! ?====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
" \+ V/ c1 ?0 J$ |. U! y$ B但是任务多了后，每次翻译的页面数是减少的。
2 S* ]4 d/ N& w+ `* h% E7 z# d# A3 r好吧，我五体投地，继续探索。
====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
/ x0 s9 o1 B( j====
好吧，有些东西是不给翻译的，哈哈。
/ _! d8 U3 ]& q6 R4 g. S' e2 @; U
Sorry, that's beyond my current scope. Let’s talk about something else.
9 T% t! Z7 H$ c# }6 A( W) k====
! S. v- |8 ~7 o+ t3 p6 z6 G然后我的英文命令也让deepseek 帮我修改，呵呵。
9 q7 Z1 V' v5 r! N. J9 c====
* ~* J' d2 h: b( H日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
) N* E' b4 D9 A4 j====
* S5 c* F* Y; N% `6 h) i时间段的话，北京时间的下午和晚上用比较好。
后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
====
用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
====
( b2 M4 p3 `$ j, i. EDeepseek，API 看上去可用了，但是不给充钱。
/ U4 b# ]: e& j9 P+ l/ V
. ?5 A. a) m8 u/ f% Z' U

) t% @3 Y; _/ H# `+ q( e

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
' O6 j5 ?% }2 h, R( E0 s这功能很赞呀

( X0 u( H$ \7 X' y  ~简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

0 m* o6 [9 t5 k& w* Y; E( M% _
以后让deepseek 读出土的竹简

还有把古文翻译成现代白话
0 e4 Z! K9 X1 i
以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
3 d# E7 I+ R4 D4 y; H4 b! v# B
( J7 F, D1 u: T0 y: a/ h. l# Z# b我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
. X( W/ D3 e2 `/ D# @请教是如何实现的？
  r( ~1 s# v4 F8 x. _1 v% V
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

( A, J$ x5 h9 P- A/ f8 ]
我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
# f* x, A8 r5 m7 H; C9 z6 c* y) ^文字之类的没问题。估计deepseek现在暂时只保证主要功能。
7 ^: P7 f! O1 J& u4 _* ~2 V美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
6 G8 x" e7 n6 M

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
" y, E! q$ g9 Z5 C( p
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

https://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
$ a- ?# ~5 C% g; o. k; j  t很稳定，质量不错，好像最多一次处理15页。
8 G; g6 w) n4 j6 E+ Z( e我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
1 z% f2 X& d/ _2 {3 v
https://github.com/oomol-lab/pdf-craft

1. 这个工具要求装 python3.10
2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
4. 把下面的内容写到一个文件里，例如 a.py

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   1 {* Z- c0 A3 U. I0 P
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   $ L) V( Q! m# O
6. )
   % I; d! j: h  D6 Z/ x6 |
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   ; f, r4 o& S' Y; V
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

. R: d% K( I2 j" R. h/ ?; `/ R% ~! T要修改的内容：
4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
0 r$ a( [8 m. J) ~4.2 markdown_path：输出的 markdown 路径文件名
' j. z" b2 v' k4.3 /path/to/pdf/file: 输入的源PDF路径文件名

5 k: ^, o, K" Q0 M8 I5. 运行 python3 a.py

nanimarcus

& k8 L2 `: ]) \5 |0 z( e目前为止PDF转纯文字的最佳办法。
$ z7 @- m( Q! C' v先写个小程序，把PDF按章节切成小的PDF。
4 s- Z9 ^: y: m( s然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
- T, r* c* ?; i/ w效果非常好。
% Z7 A$ a% A+ {& ^
deepseek，qwen，chatgpt 三个，deepseek是最好的。

1 y) T( B- |5 V- S1 Rdeepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
# m% U& p* K1 Z我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

API到目前为止，差强人意，不如网页版本修得干净。
1 H8 W$ j' a. y) a1 g) ~9 x8 n  E
* l- r, @3 h* Cdeepseek可以同时开四个。
) L/ T/ z* n) H' v6 \  T: F5 o

三力思

让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
; `$ d8 M- @' D细说一下，听上去很不错，多谢。

直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

6 B% \+ g( d3 v& V  X1 w3 p
7 O: `. _! |8 ~( j. }已经搞定.
5 `' K! {' ^- w" d, K+ v  A
首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

  z7 L9 {! A6 M1, python + pypdf 按章节拆分小的PDF
" f' B: g0 M, ^) b' r: i
) a* p* Y/ j  I% `2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile

- v: z# n& r) Y# h, j得到text file
% |4 Y$ b. b4 R: Z$ R1 m9 p
$ R1 \. g+ C$ W3 ]5 I3, python 读取整个outputfile，丢给deepseek 矫正。
" K8 f8 ]* [3 W( v
模型是 deepseek-chat
8 J, h0 H- l: W9 M* m3 Q( t, }8 y  d
max_tokens 最大是 8192，别的不用改。

0 ?5 H% @  h' C, F) N0 Z参考：
3 S% f( R3 K$ Q/ I8 ]: vhttps://api-docs.deepseek.com/api/create-chat-completion

0 y, f2 A6 v, a( [1 R! M4，费用：
& G! [0 I' y" ^' c
$ `! ]: |* i! _实测：

296K 字母，用了 9 美分。

英文字母 到 token 用量大约 1/3
, S* ]1 o# b6 t$ y7 H- X) y
/ J/ _! }2 x5 L% a. Z8 Ftokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

. h' T. \! H  [$ J; I5 h32899 个字母花费 11782 tokens，包含输入输出的 tokens
% i0 u# t+ E( S$ j& j+ \/ ^
2 W: Z4 o0 v0 {# Q价钱，非常非常便宜了。

" g4 W0 w. y* P0 _0 v0 z参考如下可以计算，懒得算了。

) G9 t& y% c( B& r6 [1 yhttps://api-docs.deepseek.com/quick_start/pricing
9 ^  g  |8 D- j/ b7 G+ j
1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
' |7 _4 m1 M: p- e+ u1M TOKENS OUTPUT(5)                                              $1.10                $2.19
* m1 i4 ^1 x, |
6 b) e% O5 p# n  B3 Y+ I  v# `- l+ h5, Balance

可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
https://api-docs.deepseek.com/api/get-user-balance
3 u4 N6 c  W  y9 u6 o( C5 h5 [5 w
. H' m; `/ e, F% U6, Models

' e$ E. ~# ?( ]# H( j; B" e目前就两个
# deepseek-chat
) o* j$ v) @7 Z' Z( D# l# deepseek-reasoner

参考：
2 g. H' [( x5 vhttps://api-docs.deepseek.com/api/list-models


! E3 v  _4 A& J3 @7, 问题
7 ~0 d1 r* q1 L9 e  L; k3 O" v1 {% R
5 g6 w, e; r( W/ c6 Fdeepseek 会将前后两段合成一段。
" E! p# I: G2 S特别是那种大量的对话的段落，deepseek会给你合成一大段。
  u' w2 ]8 \5 |; D8 R
' Z: t7 P- K+ P0 q( `8, 钱说了算。

deepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。
- m. A$ }3 u$ n- m3 e

! C$ |2 X5 J& F6 D. t) C4 y