利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

) [$ Q8 s. b7 u" a
把PDF上传，然后让他抓取文字，并修改可能的错误。
7 U) r9 D  R. d& ]然后deepseek完美的完成了任务。
: E7 B+ C! f0 k1 U$ }段落清楚，列清楚，页眉页脚全部去掉。
我要疯掉了！
! c5 w; }. P, D( T8 W; _赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
2 t& L& p. w( k. r1 h) w0 ~1 x====
中文也很完美。
经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
' P" c2 k  q6 {" C, X* U====
9 S, {+ v& a; b2 `! d第二次疯掉了！
( k" M4 Q; g" e9 P我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
- l/ q/ A6 P. {: F7 X% f( X====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
0 T' D) h  v' A但是任务多了后，每次翻译的页面数是减少的。
# E0 E! [" \  @. z好吧，我五体投地，继续探索。
====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
- Y! t/ ^- T! |) D! g4 A====
好吧，有些东西是不给翻译的，哈哈。

2 i; u1 u7 q! fSorry, that's beyond my current scope. Let’s talk about something else.
====
然后我的英文命令也让deepseek 帮我修改，呵呵。
====
日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
时间段的话，北京时间的下午和晚上用比较好。
后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
! c  H2 k. q. g/ t' [, l' w====
" {3 c0 D1 ]' r) c用千问吧，非常稳定，非常强大。
8 G: b3 {8 d- Z+ I' K- b. khttps://chat.qwenlm.ai/
5 X, E3 l: W- m% r; x; z; ^====
Deepseek，API 看上去可用了，但是不给充钱。
' _: [$ t% T8 W/ s+ c: T! |
7 B0 t9 n+ A) h  A
$ g- v( ~+ p' D
! y9 j% a) s5 q9 B& e0 b8 I! i. D# `) n

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
5 L9 v& d7 U9 y: d这功能很赞呀

5 ]6 c+ G* l, V' @6 V" F简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
5 y2 J. F  d7 O* t, [( e有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

! R7 M4 Z& i' {; ~" H
, L) v5 W8 ~) c& g- W以后让deepseek 读出土的竹简
! v) n" \# A" A! Q6 j" p
还有把古文翻译成现代白话
* `) a! |4 X2 f" X
$ h! m2 r; S4 d' `7 j以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
: _% h3 t; q+ t$ ^
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
: V! ^& M7 b. ^2 z4 `5 }+ f请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

' B  s, H1 |' p4 M
我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
文字之类的没问题。估计deepseek现在暂时只保证主要功能。
. ~0 P* A" F! S: g4 K' t! j美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
2 S3 ~$ V: W4 t, R3 M

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

https://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
" K0 V. c- L3 S( a很稳定，质量不错，好像最多一次处理15页。
$ b9 e1 s: ]- U  u$ T我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
  r% c9 B# l, u5 x处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
, K5 r$ t' L1 t; ^6 u7 D这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
# s; K' \( i; k# t" d3 e  {$ }
/ b5 `/ Q: @; w- b" Lhttps://github.com/oomol-lab/pdf-craft
4 Y. h' W' c/ b7 N
1. 这个工具要求装 python3.10
$ u" n8 b% ^* E4 k5 O2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
4. 把下面的内容写到一个文件里，例如 a.py

5 m& T. }: i# R; ?/ U" O

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   - ^3 ~! v* _% ~
2. 
   
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   ' ?3 Z& r5 m8 _; H3 M
6. )
   1 y5 w+ p5 u1 _7 ?. B2 ?) J
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   # ], Z% U. Q0 o2 g* q
9.     md.write(block)

复制代码

$ M! K3 z" m! f" a8 t* k
8 J! V6 _4 Y. C; x3 q( _0 l# a要修改的内容：
4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
( t3 i7 ~, ?2 p5 r% z6 _) z4 A4.2 markdown_path：输出的 markdown 路径文件名
) ^6 M! L) `$ o+ K2 X2 C4.3 /path/to/pdf/file: 输入的源PDF路径文件名

5. 运行 python3 a.py

nanimarcus

5 @1 b) j  v7 [6 z% @
1 a9 _; U& r! e, k, U/ f! F% o" g目前为止PDF转纯文字的最佳办法。
& n* \$ B$ v8 W$ [, b* f( I! \先写个小程序，把PDF按章节切成小的PDF。
然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
效果非常好。

deepseek，qwen，chatgpt 三个，deepseek是最好的。
7 v7 ^. m2 n, ]; y% l
! k8 \9 ~/ K6 u* `; i/ rdeepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
. e- O/ v+ d% E$ p( Y5 U而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

( ^+ ^$ }: [; f% }: F) BAPI到目前为止，差强人意，不如网页版本修得干净。
) R* d2 ?$ V" r: K! `
deepseek可以同时开四个。
; c# i+ T) g$ d  c/ M: ]# p

三力思

让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

+ d, @( S# k5 _3 u  c3 J- b细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
细说一下，听上去很不错，多谢。

4 w3 P- V/ u8 c( H直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

3 o$ f" p+ W8 ^) T1 @2 j3 g; _1 {# G已经搞定.
' h, a; O; K% I" f3 O- \8 X+ G
首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

1, python + pypdf 按章节拆分小的PDF

# l) R/ a* F! @! t( H2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile

2 L  Y% r- m; u5 @* }9 J" V得到text file
1 j& K. q8 W5 ?2 @/ {
7 ~5 Z, `3 z$ u7 x2 b3, python 读取整个outputfile，丢给deepseek 矫正。

/ X* W6 o- E' {模型是 deepseek-chat
1 k: v- M; K" N# J% q
max_tokens 最大是 8192，别的不用改。

' L8 m0 \! Y. R. d! \  E参考：
, \4 p" \# {( _3 D# M7 Hhttps://api-docs.deepseek.com/api/create-chat-completion
. n; b0 W) ?4 a8 d0 u6 p9 [
4，费用：
  c  O3 G7 q; P9 c/ x% I& W
! z% D: z% L9 C  h+ y! l% X" C实测：

2 e6 \" y, ]: L4 y' N* b296K 字母，用了 9 美分。

英文字母 到 token 用量大约 1/3
0 N6 f/ u% A) s, t  c
1 t6 r5 z6 w- Ntokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

32899 个字母花费 11782 tokens，包含输入输出的 tokens
+ l2 w5 E: X/ h
价钱，非常非常便宜了。

参考如下可以计算，懒得算了。
3 |# E' d- N9 `5 J, u$ K- e3 m/ F
6 q; X8 |; N& B9 r2 _5 g4 G# chttps://api-docs.deepseek.com/quick_start/pricing
' s9 u5 V; S8 B2 I# H5 u
5 z+ S* D4 B/ A1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
( O* f" Q, S6 j/ L/ |' n1M TOKENS OUTPUT(5)                                              $1.10                $2.19

$ w4 j/ g& A$ T! h0 h0 J  c5, Balance

可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
https://api-docs.deepseek.com/api/get-user-balance
: y: q3 I" {- }7 ?& a8 S
6, Models

1 Q* M- P9 r( I& v, a目前就两个
# \" a9 b$ }5 o: |& \1 M' Z% Z" i# deepseek-chat
$ @+ S7 i! g- r: ~$ ?+ K, z# deepseek-reasoner
" W( G/ s+ s  R8 s. v0 {
参考：
https://api-docs.deepseek.com/api/list-models
+ g9 r8 ^; H) H/ S2 z1 J' O

8 Y* w* o' H( ~7, 问题
% E0 D0 d, @* x* z8 i
deepseek 会将前后两段合成一段。
特别是那种大量的对话的段落，deepseek会给你合成一大段。
8 G! W6 P8 A2 c4 J; q
7 S% p- {  G6 ?, I8 `8 Q$ e8, 钱说了算。
; s( v$ t1 R( g# t8 e9 V  |; Z. u
( T/ S5 j$ h5 _/ r, O+ n, ], m" f+ w" Ydeepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
: {! X! I" f9 q& Q' k) _3 ~但是API就不会出现这种情况，毕竟我们给钱了。
5 p' }1 v3 B  wchatgpt也是这样的。
1 G& J  O9 ?# {1 B
8 K% I5 X9 g: a0 m7 E2 D/ F8 O
2 N  W+ }( Q) {+ ]/ u7 W8 r. \. Q) ~# a