利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

7 t/ o  E9 X. d
把PDF上传，然后让他抓取文字，并修改可能的错误。
9 k: {8 x3 ~3 Z1 P0 t) q' p$ L然后deepseek完美的完成了任务。
9 n7 p, S0 H) e2 m, u9 A段落清楚，列清楚，页眉页脚全部去掉。
6 e/ F  @, y8 j6 b+ x我要疯掉了！
赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
! |& r: e$ y0 @. f  w7 X====
中文也很完美。
经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
# i6 Q' a% `# ^& |  Z1 e====
3 o1 g/ g" b& p2 g第二次疯掉了！
" A7 X6 p4 P% w0 q9 U我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
3 G  w1 E3 u; Y- g' X9 j====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
" M# h& r0 K; X0 }但是任务多了后，每次翻译的页面数是减少的。
好吧，我五体投地，继续探索。
====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
9 u6 X7 J1 ~6 ~- x9 ]0 f====
好吧，有些东西是不给翻译的，哈哈。
- M1 U: c  J/ Z/ s5 j
& m" {4 B+ Y. k+ ~' T2 J4 Z6 cSorry, that's beyond my current scope. Let’s talk about something else.
====
然后我的英文命令也让deepseek 帮我修改，呵呵。
9 {: G( o4 Z0 K+ L& a% W====
) \* \/ a1 h! ]) G  `' W日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
  C8 `1 @/ M/ d; y. t====
4 y4 d) Q7 T3 x5 L0 K5 W- X1 K; f时间段的话，北京时间的下午和晚上用比较好。
! O) v, W) J0 o' l, X  A; {4 i) u5 W后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
====
用千问吧，非常稳定，非常强大。
3 `* n/ E2 d% `/ D6 nhttps://chat.qwenlm.ai/
====
Deepseek，API 看上去可用了，但是不给充钱。
# M9 o* i1 L- g
( I/ A. ~( V0 x1 P* J- `5 `  H
. n+ c8 `, d! a0 J: S( E1 z/ ^
! F! z* V8 T) j0 u. u6 g: I- a5 B

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
这功能很赞呀

简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

& o% ?1 l; Y. e- c$ e
以后让deepseek 读出土的竹简
1 t+ x9 P( `3 N' L2 b
/ f! F# ]: ^0 {+ B9 {. k; \! C7 S还有把古文翻译成现代白话
- M- N1 {& d& c3 k
- A$ l9 U: ~) e+ Q0 `- x/ m3 K. f以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
, M* I5 J6 K* ^1 z# m$ v
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
# \+ G1 w0 G% N) X+ _
* S: Y8 r  p( r" S  V我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

: l* S$ d' b% u, o% Q
4 p' T3 C; W# ]7 k/ g我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
文字之类的没问题。估计deepseek现在暂时只保证主要功能。
美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
# o3 m( J2 D, Q3 w5 s7 U* l5 {7 W5 p

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

# c- c8 L6 _# ]( @# Ehttps://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
$ m6 Q6 v5 V5 o1 l/ p# O很稳定，质量不错，好像最多一次处理15页。
+ l* P: Q% w/ d. V+ p我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
: i. {! j+ }- D: }) b这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
/ n& E  q) C1 r2 I$ c3 {! V
& H" F5 t3 q5 U5 m9 \8 Rhttps://github.com/oomol-lab/pdf-craft

1. 这个工具要求装 python3.10
: D( \6 _- C5 s2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
* Z2 m) q/ E, K' E& F4. 把下面的内容写到一个文件里，例如 a.py
8 q# {! P7 Y( O7 M9 U& Q4 b8 H, c

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   & I2 H/ q" b0 ?7 \
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   ' q& U) Y" E$ V, Q" {$ _+ z
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   ( q9 L3 F# o1 I; i. y
6. )
   
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   & c; j' G* ]+ G
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   0 u8 q- ~" ^. V1 v2 u
9.     md.write(block)

复制代码

: Z$ }" l+ T# G& j: S3 K要修改的内容：
4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
5 o; a) c# K# n1 S) T4.2 markdown_path：输出的 markdown 路径文件名
  f5 ~' u7 d# y1 @* v2 D" s- i4.3 /path/to/pdf/file: 输入的源PDF路径文件名
! Z# A  ^  p$ Y2 ^1 \
5. 运行 python3 a.py

nanimarcus

目前为止PDF转纯文字的最佳办法。
& P6 V% a7 z1 f! h5 |# P  E先写个小程序，把PDF按章节切成小的PDF。
. J$ r, I" O4 g  g, j1 u/ F然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
; {% T3 N! X$ Q4 N* b- W4 I效果非常好。
! h. v6 R- P0 K+ S) F& o
: s! f3 C. e' d; e# a/ O2 jdeepseek，qwen，chatgpt 三个，deepseek是最好的。

deepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
& V8 @0 H6 ^6 j0 k而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。
% A9 O$ D6 t+ a: A" Q/ s  k
. {# v4 Q5 ]2 `" s" ?# B1 o( CAPI到目前为止，差强人意，不如网页版本修得干净。

% c  ~/ t5 C" D" B6 \deepseek可以同时开四个。
5 A3 ^* y# ^8 o9 h: T4 m& I

三力思

" M1 u" m# |! C/ d5 ]
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
3 `$ P$ W2 n6 r7 _, U让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
" ]+ j$ {* p' ^细说一下，听上去很不错，多谢。

0 J8 a$ i8 d8 c) [9 J, p直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

已经搞定.
& e) O& n. y  O! \# l
3 P4 p6 B+ z1 Z$ m6 @& G5 N首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

1, python + pypdf 按章节拆分小的PDF
* t0 |' y1 Q, M% y1 ]: l& D/ F$ R
( Q/ c0 t( e/ p7 s# n' Q2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
6 @) W  f6 Q2 q: P9 R  r. F  X
' Z; k0 j+ O: H$ _得到text file
# Z* [: H0 h6 }: |
3, python 读取整个outputfile，丢给deepseek 矫正。

  U* ?/ o: s7 a6 F模型是 deepseek-chat

: O% ?3 \4 s4 u2 }max_tokens 最大是 8192，别的不用改。
4 Q/ [, I/ V+ P- f: J
8 d+ c4 a. ?9 n4 C" K. o' r. q+ m参考：
https://api-docs.deepseek.com/api/create-chat-completion

4，费用：

实测：

296K 字母，用了 9 美分。
3 |- N3 Z+ t4 w" }# d
6 \( ?0 M2 s3 S* i英文字母 到 token 用量大约 1/3
1 N" b9 z3 G. G  A$ D" a
+ w; |' A: {* Z0 D- \' Mtokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

32899 个字母花费 11782 tokens，包含输入输出的 tokens

价钱，非常非常便宜了。

9 a2 I* I3 _& r7 A/ B1 t, D参考如下可以计算，懒得算了。

" N* c# W+ @" o, N- n8 zhttps://api-docs.deepseek.com/quick_start/pricing

1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
1M TOKENS OUTPUT(5)                                              $1.10                $2.19

$ V- N/ }: |' l# w9 H5, Balance

可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
$ T; I& m1 E1 g$ M5 f& P) O( {https://api-docs.deepseek.com/api/get-user-balance

: @$ g5 R5 B& V% Z3 ?9 x7 M* g6, Models
8 b1 r$ A& A  r# R; B! S
目前就两个
# deepseek-chat
# deepseek-reasoner

% `, a5 k- |4 f  Z- y参考：
5 b2 D4 E% s# o! W2 @! U/ M5 Ghttps://api-docs.deepseek.com/api/list-models


7, 问题
* l2 ^+ M7 h0 `: I  K1 S! |8 ?( B
deepseek 会将前后两段合成一段。
特别是那种大量的对话的段落，deepseek会给你合成一大段。
  e1 Q$ e' g, K1 a! e* e3 m# k
. ]# [' ^- U4 O5 ?: y4 o! }/ ]8, 钱说了算。
6 g: H$ P7 [5 I0 B, t1 k* P& a# x( X
1 o% [0 v1 B2 Ddeepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。


4 y6 v$ |" r! a2 ~4 j2 j