爱吱声

标题: faster-whisper 更快的语音到文字的识别 ASR [打印本页]

作者: nanimarcus    时间: 2023-6-4 02:10
标题: faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑 ' L1 z4 `) E, M7 @# B+ w8 i

" U2 \" j" F: r  P借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。2 D* V- \4 d' y# G: {+ I, A' `1 J
效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。, i/ H+ }0 A3 j
----------------------------------------. ^0 p7 a7 R0 P" R2 O0 r$ _
显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。
! s- F, g  E/ I+ M在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
2 Q8 F" q% A8 E1 u9 l----------------------------------------
3 n, W) j$ h& a' U4 K$ D" fhttps://github.com/guillaumekln/faster-whisper# y0 e, I1 l9 p  h; g
安装如下:
& F3 A. t5 F; w, }5 h1, Windows 10
$ g, d- K: }, q, ~9 v( \( M2, Python 3.10.11# u% [+ W% Q2 S* P
3, CUDA 12.13 O7 ?2 t- p- I1 H
4, 在python 3 中安装4 l$ F" o" u+ D% D- A9 A
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
+ v4 }$ j* b- p) O3 J3 ^! y这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。- z. U0 d5 _) n2 u0 s
5,pip install -U openai-whisper7 W( m! m& g% n7 Q6 c* k7 x
这是向whisper 致敬,可以不装# K% A. {# L# Q4 j* M) v. ^8 H0 R
6,pip install faster-whisper
8 L. K2 d( p+ \& B0 [' `1 L* h----------------------------------------
  i" G, p& }, @# Pwhisper 我用的命令行,faster-whisper 我用的是python。3 E& H7 P& D4 g0 X5 \4 \) P
下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:
# ~8 v3 s& a& R# b* E
" w* [# C9 b" u- X1 Y* R# }/ f. [, z----------------------------------------6 p1 e* N) B8 u

/ U$ z" j- n7 ?% Z6 {from faster_whisper import WhisperModel
* x1 y3 Z2 J! u% l
4 S6 A. @" P- I) _model_size = "small"
# O3 W: q& n. w- I* s, U7 `2 S
. o# T/ {' c0 d" c4 zmodel = WhisperModel(model_size, device="cuda", compute_type="int8")
$ o; u) Z! g. ?8 O/ s
3 d$ N* G" n3 F8 ssegments, info = model.transcribe(
0 ?, Y2 ~. G# j6 S4 B  y/ i    sourceFileName,
7 O7 T) F$ @' z3 y6 z    beam_size=5, 6 M8 l, ~' u/ O$ F: p# @
    language="en",
) K* Q7 P- }8 J" j( a# t5 }    task="transcribe",
, R; E, ^, Q5 ^. L    word_timestamps=True,
+ _# z! f, N3 a5 L, }; G$ S    initial_prompt = "Hello, welcome to my lecture.")! Z% h9 R$ Y. @4 _  Y- a* L

+ O- s: u3 {2 u9 c, }/ Ufor segment in segments:; \9 S- U- S+ o9 V; T" F% D, o
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
6 f& u2 b+ J2 w- E6 T
4 W" i5 N; b/ w5 D        for word in segment.words:
8 G- n; G% T4 b7 i7 }; _9 k/ I               
2 y: r- P+ P: w/ E# l: T0 S----------------------------------------1 ?, \: Z; X4 N* _4 @1 O7 {  E! J. G, b

. N* B/ r& S9 }" S& V9 n* a9 |代码说明:
+ C# k. V4 F& _1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。
1 X3 D9 U2 s$ A) M! J& Y/ x) ^但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。
, B7 \* M& M7 Z# _5 ^2,segment 本身是很粗糙的,做字幕勉强能用。
+ k2 f- ?% f1 I& o. I9 F2 U; r3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。
# U8 Q2 _, S4 ?& p- L% s4 H4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中/ p  Y9 O3 F$ B  g3 a( T& Q
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
  V1 p9 x, C; p* a5,model.transcribe 中参数说明:
' v$ h: A- _9 h你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数
1 `" U* @+ G8 n- y. J* T其中  h+ V1 B; u) h8 T# J
    word_timestamps=True,
0 l1 `9 J3 e% q% u3 q# z保证了你能拿到 word,否则是拿不到的
& g* `) e# F5 S' c0 [6 Z9 W. h    initial_prompt = "Hello, welcome to my lecture.")4 E8 N) }. q- s* d8 ?
保证能尽可能准确的断句 punctuation,但是不是决定性的。
" ~5 b  L; F8 q3 R( t& e其他参数可参考源文件:& K" Z# X4 n- p$ n7 }
https://github.com/guillaumekln/ ... isper/transcribe.py
" p. ~. L! Y3 y152 def transcribe(* G: U, s( |0 F/ [
从源文件你可以看到是支持中文的句号断句的。
+ }: ]4 p4 P5 a- f7 h3 m- j
  y. v6 U) I* l! j) C6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。, z1 {) U: j, |  B9 \
7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。/ Y9 j6 g. m4 ~( }' s
8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。
0 {* d2 d1 b  l% V/ r0 L* u5 q3 y
& M! c' Y8 s5 L

4 k, ~4 t& W  a$ p$ e
作者: nanimarcus    时间: 2023-6-4 11:53
多谢各位榜爷打赏。




欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2