标题: faster-whisper 更快的语音到文字的识别 ASR [打印本页] 作者: nanimarcus 时间: 2023-6-4 02:10 标题: faster-whisper 更快的语音到文字的识别 ASR 本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑 ' [4 C. }( t! @6 G! b* N - h6 B+ _% u% |. G, L/ y! m借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。 ; M3 t" `( X0 a- I9 P效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。 4 O: t7 `" G- B----------------------------------------( ~- V" c) d! T) V% B
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。 E: o: d3 V; M9 ]# [, S Z在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。% f1 K9 f$ `. l/ a8 U @0 t
---------------------------------------- 0 C' t# `- k& T/ Phttps://github.com/guillaumekln/faster-whisper 5 l2 l8 H' o1 F( K& G4 {' @安装如下：5 ~" x8 J% C3 ]
1, Windows 10 ( y0 m; O8 N. O3 P; Y+ B2, Python 3.10.11 $ o7 b8 V! O1 S2 U J3, CUDA 12.1 $ Z% C& L1 y' Q; v' I% q4, 在python 3 中安装 7 d# |$ R3 d" h9 c5 m, |pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ! h! J' f# H8 i# @% n" X) }这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。 6 X5 h/ P, u; i6 ?+ j1 `5，pip install -U openai-whisper ( R! [$ F: h- W R! y. `* E: z: Y. y这是向whisper 致敬，可以不装( \% E; |5 }& |, X
6，pip install faster-whisper z' `) w# J: ]+ G( U$ M8 B---------------------------------------- 2 d" k1 [/ p* A% rwhisper 我用的命令行，faster-whisper 我用的是python。 ( j. l) u, ~0 k1 N( i, y+ _, z下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：9 |+ b% b" d8 n
2 o+ i' k. Q3 }---------------------------------------- P" a6 g* Z. E" t: V ) m R6 Z1 H7 S ~from faster_whisper import WhisperModel * G% h& r6 O6 G! }: [4 |+ o ) I7 p2 A2 p' Q/ |7 }model_size = "small" M- |' }( S* `: A0 t% | ; L$ i' e, R: {' a, I9 _model = WhisperModel(model_size, device="cuda", compute_type="int8") ' J2 I/ x- j& ^9 g+ T4 p1 B) c7 y7 C
segments, info = model.transcribe(3 u$ g! i3 ~7 u" U3 s* h
sourceFileName, 7 o- T; I7 ~4 x# S# d5 W9 R/ h W beam_size=5, # Z, w5 f% ^/ u7 E7 d* o
language="en", 4 r& I: _2 X+ A+ y- S: x3 }
task="transcribe", ( g+ H- _, G5 w* a/ e, ` word_timestamps=True, . Z2 u; i+ K8 m; `$ K2 i initial_prompt = "Hello, welcome to my lecture.")* |3 [: Y+ J+ }( U
: M p; D Y; D h; @for segment in segments:6 F* l' S" }% V' T6 F) C; o
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))) L7 w2 R5 B$ j/ A
! h4 S. ~! T2 B+ g for word in segment.words: / t3 J' L. w9 G: ?! r2 C 0 Z: H& t! ]' U& W! Y9 W: C9 J4 }% A
---------------------------------------- + B, X6 W. h- q: S2 |8 s% i* C 9 j( I, r6 m: |* a) |代码说明： 0 U: D9 S+ i) ?2 V( _) U; J8 @( `. j1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。. g. N) H* K: ~9 W/ p1 T; h
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。3 w9 P6 W# N. A/ g4 a' t
2，segment 本身是很粗糙的，做字幕勉强能用。; |; v, N, z- G
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。. V( V o8 X& ~
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中 ' _0 T9 K) _ N4 j @; a. G比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。8 O; G8 P# V2 l/ J
5，model.transcribe 中参数说明：/ ~- v6 A6 B6 g @. V: E5 l
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数9 l) w* _. x7 r( p$ |
其中 9 l6 W- G* p; d$ k, _' H5 m( U$ `8 V word_timestamps=True, 3 t; L* y$ f. M( R9 ~6 a
保证了你能拿到 word，否则是拿不到的+ ]" V; X3 G$ V: R. C
initial_prompt = "Hello, welcome to my lecture.") ( S ~& p5 x+ X保证能尽可能准确的断句 punctuation，但是不是决定性的。 * o; \# G* y! k8 U6 R" E) h) x其他参数可参考源文件：# U2 n/ Q( o' q* w* ` https://github.com/guillaumekln/ ... isper/transcribe.py0 E j& o- z0 L. v6 z3 Q9 g
152 def transcribe( $ s. c! S! e9 c从源文件你可以看到是支持中文的句号断句的。0 P$ |2 @5 w- U