利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

' x% Q: v3 v  D3 G- C' y把PDF上传，然后让他抓取文字，并修改可能的错误。
然后deepseek完美的完成了任务。
: o1 m6 @7 d% B段落清楚，列清楚，页眉页脚全部去掉。
我要疯掉了！
赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
====
  o, q2 Z* d+ S中文也很完美。
' t/ O' I' {) Z6 _2 i( H, y经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
====
第二次疯掉了！
& Q3 B1 a  a, W% `# D我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
* j2 _. ~, s( W0 i====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
但是任务多了后，每次翻译的页面数是减少的。
好吧，我五体投地，继续探索。
( g5 m9 d+ o- f3 I; S====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
5 S" `2 P6 |' |# [3 v5 ?====
& d9 E8 ]$ e3 b/ ?5 g好吧，有些东西是不给翻译的，哈哈。
, Z! T& B7 Z( a6 W% B% ~+ j
Sorry, that's beyond my current scope. Let’s talk about something else.
====
然后我的英文命令也让deepseek 帮我修改，呵呵。
====
7 j5 [* o$ x* q日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
+ e- p# Z8 ]* U) S" M* v) H时间段的话，北京时间的下午和晚上用比较好。
' O0 h" t3 U) G; ]后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
3 }' T4 ^9 z) q  A9 N$ F/ s====
9 Z: K) e& K  v6 b4 ^- R) E2 w/ S用千问吧，非常稳定，非常强大。
/ m4 \# s% w" hhttps://chat.qwenlm.ai/
& {" e1 V$ m# n/ b4 f7 V, Y; _0 A====
Deepseek，API 看上去可用了，但是不给充钱。
2 d) G/ K, V' g; e3 M' v- s
8 V/ a" A8 b1 l* _! X: R1 y
  {8 f  d5 ~2 a3 s5 V
1 e. n$ M  s% f( p; _8 g

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
) V/ a. Q1 }* C0 U这功能很赞呀

5 j. d7 Z6 R) |' l. p简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
有没有上传整本书试试

" ^7 a8 L' @. ]9 w/ B$ G! J9 {+ X目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

# O5 y5 Z4 v  O3 t( O
以后让deepseek 读出土的竹简
) _: n$ U, Q) g4 S$ K
还有把古文翻译成现代白话
- I. N- Z* s- V5 e$ R4 Z/ f
以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
" E6 P; g4 x3 [( t& O: O
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
; n3 u; X- _. _8 y5 X
( J! b5 A0 s) ~我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
文字之类的没问题。估计deepseek现在暂时只保证主要功能。
7 K* u& U% U0 b0 e/ L美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
0 n3 N5 F) A' h: A4 T

nanimarcus

方恨少 发表于 2025-2-3 01:23
4 w9 r/ u* O4 f& t5 G0 s请教是如何实现的？

+ E. ]( g( X  X* v) ?1 ~' w我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

# K$ ^+ D$ B- y8 Rhttps://chat.qwenlm.ai/
9 l+ h2 \7 d. ~6 x1 U' @" `+ k) R试一下千问，估计美国人没有攻击他，所以资源敞开用。
0 g2 D6 {2 }2 z4 F& o- o: t% k很稳定，质量不错，好像最多一次处理15页。
( n% m/ Z% o9 z% N# f我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
5 E4 Y1 q' b; e/ a4 Z
https://github.com/oomol-lab/pdf-craft

1. 这个工具要求装 python3.10
$ v- f) A" {1 _$ @* f2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
" F9 M0 {- W/ i! }3. pip install pdf-craft
5 k) x- C9 |0 x7 d$ P/ Y0 r4. 把下面的内容写到一个文件里，例如 a.py
; k4 ^$ v- {* E; u+ }+ g

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   - z- D& x8 g5 U' j  ~2 T* m
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   3 e3 R* _" z% A; a: P" t
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   + m+ h4 R! ~/ H6 w! d3 `# J9 t
6. )
   # u: R5 w3 e# s# p) [1 p; y* `# u
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   ! t9 V- r) Y8 J5 {0 _
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   5 @' v; J  d) m! p& T3 W
9.     md.write(block)

复制代码

9 Z. `5 r4 J" ]- t1 x" B+ T
要修改的内容：
6 o" w7 M% a: r2 Q4 c2 T4 p& S' }3 L4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
4.2 markdown_path：输出的 markdown 路径文件名
! T4 I) M1 }/ B6 G$ H7 y* x* \4.3 /path/to/pdf/file: 输入的源PDF路径文件名
' }7 _# B8 V2 L# b5 R1 z  _
5. 运行 python3 a.py

nanimarcus

7 }; Z2 m5 O# v
目前为止PDF转纯文字的最佳办法。
4 s0 s, `. G. _* T4 D2 J+ ]8 X先写个小程序，把PDF按章节切成小的PDF。
然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
. G. l/ V& y1 S2 y& L9 i效果非常好。
# I8 i7 Q; r( f1 u- _; X9 n
deepseek，qwen，chatgpt 三个，deepseek是最好的。

deepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
- J/ A1 B% ^7 @) z6 t而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

8 r) w! H1 t9 Y8 \0 h: OAPI到目前为止，差强人意，不如网页版本修得干净。

$ W; V" L& x- ]7 f7 v4 o: u- ideepseek可以同时开四个。

三力思

2 Q# i8 I& R3 P( k6 a' F9 j让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
7 X9 Q+ d  }3 F3 c& {细说一下，听上去很不错，多谢。

9 B1 a( j0 r# l# p/ I: h直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

$ l/ w$ |6 H. g$ }7 w已经搞定.
, U" v* o% c+ |% @& m2 f% v3 r% P
首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。
) V% G7 b6 b2 [% e1 y; N, q
1 w& F; W0 Z8 O5 u( l, q, d1, python + pypdf 按章节拆分小的PDF

2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile

得到text file

3, python 读取整个outputfile，丢给deepseek 矫正。
' H: }& j; u; ?2 X' ?# Z
. N" B( ?/ c7 y模型是 deepseek-chat

max_tokens 最大是 8192，别的不用改。

+ A5 n, f3 P/ L; [% N4 f参考：
; d! ?! Q8 ^# h. r$ Ehttps://api-docs.deepseek.com/api/create-chat-completion
) f% g) J! ^2 b3 g* k
, {1 N8 m, r% X, Q' W4，费用：
" }$ y( H! l8 i
实测：
% M* w1 k9 T. t9 x0 V" o0 b* Y
296K 字母，用了 9 美分。
. \/ I. s! }! e) ]7 w1 O1 u
" v& b# R; K) x$ L6 C# C! R: v英文字母 到 token 用量大约 1/3

7 T. u6 d- O( v1 P8 g+ ktokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899
* e" B; U' ?% X8 f6 B
32899 个字母花费 11782 tokens，包含输入输出的 tokens

价钱，非常非常便宜了。
4 I( _2 F) Y8 }& B
2 {) ]: o$ F# ^) `) Q参考如下可以计算，懒得算了。

2 @  g- H3 |+ V) k% mhttps://api-docs.deepseek.com/quick_start/pricing

1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
1M TOKENS OUTPUT(5)                                              $1.10                $2.19
) w: I% E% F* [/ z" J
8 H7 K* B& D2 w, h5, Balance
2 g+ U! K6 V' T0 J
; z  q) E; Y* I可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
https://api-docs.deepseek.com/api/get-user-balance

% W! g* O" w% ^; j6, Models
8 X! v% o, K2 d. X* O& J
目前就两个
6 {4 k( {8 e, x, N  P$ F" P# u# deepseek-chat
# deepseek-reasoner
" F/ R1 w" R: B/ q6 W; `  D% [
1 x% R3 F4 F+ n) @/ h9 n% }7 u参考：
9 z2 v$ ?$ _6 m( P! n( dhttps://api-docs.deepseek.com/api/list-models
7 M% i8 w( t: E
: `8 S; H) t0 \$ j' D
5 P7 t$ a5 H9 m7 Y( ~& _2 ^+ ^7, 问题

( {# u8 U4 C' S' s) vdeepseek 会将前后两段合成一段。
特别是那种大量的对话的段落，deepseek会给你合成一大段。
/ d# K- k. m* Q
8, 钱说了算。

deepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。


4 T. k- O! }2 x4 V