利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

+ H2 m8 P: N' `9 f& M3 z把PDF上传，然后让他抓取文字，并修改可能的错误。
; z5 E- D2 v+ k6 i( u  p然后deepseek完美的完成了任务。
段落清楚，列清楚，页眉页脚全部去掉。
& f' i: Z8 ~* y0 e% m# o6 T, z: J; N我要疯掉了！
赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
8 ]9 ~8 P: v6 L% j3 q* u, @* P  F! j====
. i- \4 `0 B5 m6 p1 J3 J3 }- l中文也很完美。
经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
====
! }* ^8 c, y9 O第二次疯掉了！
我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
% I5 C# H& |" h7 q* ~, {3 B- X====
5 J) t1 z$ u3 B: G$ k现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
: D6 j/ X0 \/ C3 T6 R5 X$ n但是任务多了后，每次翻译的页面数是减少的。
好吧，我五体投地，继续探索。
====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
1 K& D4 I$ m$ V/ x2 k5 [; ?====
好吧，有些东西是不给翻译的，哈哈。
  m1 u& s& r# Y; Q: D
/ h+ |+ L/ O9 T+ e/ O. TSorry, that's beyond my current scope. Let’s talk about something else.
7 `; O" P9 u! B- z, K  D6 N, G( X====
然后我的英文命令也让deepseek 帮我修改，呵呵。
====
; C9 _: ~5 G- ?日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
" X/ U1 O5 M6 S% r====
时间段的话，北京时间的下午和晚上用比较好。
. G6 J9 m% Z6 J5 @8 n3 b# b后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
. |/ T* [% T2 I9 D$ y====
3 A# [+ h, b* c. u用千问吧，非常稳定，非常强大。
9 v2 O1 f, H, o% |3 j4 i! _https://chat.qwenlm.ai/
. `/ w8 H5 u$ {) T====
& G- W8 h# W% dDeepseek，API 看上去可用了，但是不给充钱。
5 O# n! O; h" T0 W
" A% n. o3 ^/ Y8 i  V& J
. s- t3 T! A" J$ {
* L' S/ \/ Z* h" w

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
这功能很赞呀

简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
+ p# I7 C/ B* C; Z有没有上传整本书试试

! X0 [$ r1 }0 l4 t1 R目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

3 z0 E$ u/ n: k3 P' J+ g
2 s6 |* j  |% v以后让deepseek 读出土的竹简
; d/ W2 c5 n7 ]3 R1 h4 m8 O, s
; H6 Y/ M  i+ F( A$ d* m5 |$ s4 F还有把古文翻译成现代白话

* \" u5 Y# A4 i6 G: U以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
. S9 y- ?9 u+ A( _
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
! Q& r) x  W0 [- c, N请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
文字之类的没问题。估计deepseek现在暂时只保证主要功能。
" F! C# p# I# R* l+ I美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
+ `) s5 d( r% i% y. y" I) G

nanimarcus

方恨少 发表于 2025-2-3 01:23
7 m4 v  B2 r  e' V* S' b请教是如何实现的？
3 e% K8 @  Y' z" i& i, ]* Y5 `
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

https://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
3 S8 @  {) y, P3 U# v很稳定，质量不错，好像最多一次处理15页。
我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
" E1 S- `. \% S( U# \& P处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
& j+ U+ w0 w- T# p& |
1 M* F0 \& b3 R8 Q& L. R( _. khttps://github.com/oomol-lab/pdf-craft

0 X1 m* u5 g  y$ B4 A7 q: ^1. 这个工具要求装 python3.10
$ x. W6 X9 c+ v; F0 V' i0 t2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
% N7 A6 F" r) y8 d3. pip install pdf-craft
$ \+ W( |; C' L# h  K# @" ?; ~4. 把下面的内容写到一个文件里，例如 a.py
% k. [& l$ U! N5 ?

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   0 h2 j) \1 T: z
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   
6. )
   / }% ~3 f% d3 h# q$ p& \# u, R3 H0 c
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   7 l% }0 s; R3 A6 n6 @0 e' V1 S
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   2 S2 P1 L7 @% `: D! Q4 r1 V
9.     md.write(block)

复制代码

- l, B5 F" S) Y. n/ o
要修改的内容：
4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
4.2 markdown_path：输出的 markdown 路径文件名
4.3 /path/to/pdf/file: 输入的源PDF路径文件名
% J9 @# k. y1 g8 M1 q; |
# h  n5 S# ]5 O5. 运行 python3 a.py

nanimarcus

! i' d$ l% z% O+ L; H( _
7 d) @' @$ |7 }( u' ]目前为止PDF转纯文字的最佳办法。
" V, v$ b* L9 {先写个小程序，把PDF按章节切成小的PDF。
然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
. l* Z% F/ S4 `# j, V' _. z7 l效果非常好。
; V$ s; h! U! R* G: q
deepseek，qwen，chatgpt 三个，deepseek是最好的。

! i0 ^0 b, b/ |$ Z1 Ydeepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
& S/ `2 |$ S- K! t而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

API到目前为止，差强人意，不如网页版本修得干净。

deepseek可以同时开四个。

三力思

2 ^% j* M: x/ m3 ]5 K
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
( _( h; {( S! }# B/ w: d* z3 I让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
细说一下，听上去很不错，多谢。

; M6 @6 [3 V3 J6 S) X4 V直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

2 X$ G4 d9 M3 Z  t' ~3 f: Z
. w6 z# Y( j( {) `+ z% |1 t已经搞定.
* v5 D1 g6 L0 W9 c
首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。
" g: M, b4 n0 I5 ?0 R3 _
6 K, q4 G1 d7 W$ t  p, P1, python + pypdf 按章节拆分小的PDF

2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
4 t4 C0 ]& W8 J7 ~; [4 B3 ^7 s
得到text file
; ~0 }) G: U# L+ v  h. X2 \
6 W- X2 S: R& r7 I6 Z3, python 读取整个outputfile，丢给deepseek 矫正。

模型是 deepseek-chat

max_tokens 最大是 8192，别的不用改。
) D* ~7 s- R' P
. m% ~2 I7 h' m2 ^. o; u! M参考：
https://api-docs.deepseek.com/api/create-chat-completion
! t+ {, z& L2 Y9 i  |
4，费用：

实测：
! k; Q$ l  t- N$ e( b' h
& T" v0 B3 Q$ }& i! ?+ ?, a296K 字母，用了 9 美分。
, p% j, m9 L, X
英文字母 到 token 用量大约 1/3

! a7 Q+ `3 t' f) S4 A) p. z8 Itokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899
( J# a- C9 _; _4 v
32899 个字母花费 11782 tokens，包含输入输出的 tokens

- B/ y2 z6 f% v# w/ [; a价钱，非常非常便宜了。

参考如下可以计算，懒得算了。
( M4 g* K  [# Z0 @- ]2 O3 S$ ]
2 b8 w" _9 V% Q- y6 Yhttps://api-docs.deepseek.com/quick_start/pricing

1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
5 J( H+ ~, x- P! M, Y6 j# f( t0 n1M TOKENS OUTPUT(5)                                              $1.10                $2.19
4 w, v; X2 h) U! `0 P/ x9 N
5, Balance

可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
https://api-docs.deepseek.com/api/get-user-balance
7 Z; y- V6 |6 \% u. X6 z- a5 Q
6, Models

. p8 o, c! r/ B2 j; H目前就两个
+ z$ I7 r$ e6 _; F; e# L# deepseek-chat
$ X+ S9 {" V4 {' H. l; |# deepseek-reasoner

7 l! A9 ~1 @$ j5 e" x' o参考：
https://api-docs.deepseek.com/api/list-models
: b: A% x* q  X+ L* e; K
8 K, ^9 ~4 l6 G8 Y' M
7, 问题
- I5 ]* w1 r" e7 q% i+ ^
- n# J' C% a) h5 S. E. K, s- _deepseek 会将前后两段合成一段。
: y' ^# K' ]. M  Q9 U& B% G特别是那种大量的对话的段落，deepseek会给你合成一大段。

! {( w- Z& ]8 b' z1 G8, 钱说了算。

2 v5 w& w& R% }+ K/ ndeepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
: Z% Q5 G. n7 I) ?* o但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。
2 P6 K5 `# |9 k- t
6 L' P& M( w- e7 d$ v