faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

8 J. v1 N& k9 r4 H
+ ?' y: |4 {' U8 R0 f借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
----------------------------------------
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
/ C- B) k! B0 x5 `----------------------------------------
9 }2 i+ {2 r9 V- L5 ]https://github.com/guillaumekln/faster-whisper
" R2 \- |0 f% w/ U) h: C& g. o6 o安装如下：
& a' D$ H% E# |9 ?1, Windows 10
2, Python 3.10.11
3, CUDA 12.1
4, 在python 3 中安装
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
4 Q) u+ N2 ?% [% R# R7 {; y这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
0 w" ?8 l5 q7 Y) d6 r5，pip install -U openai-whisper
% O1 m1 F1 J$ M- I- [& g$ Q这是向whisper 致敬，可以不装
$ n3 V% f) I1 S. N  R( i2 c7 J6，pip install faster-whisper
/ O1 E: n6 x- x----------------------------------------
9 q* Q3 G0 t- k5 _' ]) _whisper 我用的命令行，faster-whisper 我用的是python。
) \( a" ~" e+ \2 P% C下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：

4 _) x* i+ u5 |  Y1 ]----------------------------------------
8 k: d" I% i( _7 ^# C* u8 c8 z
. v5 g& h4 k1 B- V' Pfrom faster_whisper import WhisperModel

' ]1 }+ o' t2 f4 p0 smodel_size = "small"
: A/ b, w2 _0 \7 c
. B+ E/ j- t( Y3 @" D6 mmodel = WhisperModel(model_size, device="cuda", compute_type="int8")

: d# X7 _2 [/ Msegments, info = model.transcribe(
    sourceFileName,
4 c+ i/ D" D, h5 a: ]* Z" I9 h* A    beam_size=5,
    language="en",
4 P5 ]$ |) `7 R2 ?5 L6 W    task="transcribe",
    word_timestamps=True,
    initial_prompt = "Hello, welcome to my lecture.")
! v" I; J7 S$ O1 I, X
for segment in segments:
! Q1 R1 o) G0 T0 o- O5 B    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

        for word in segment.words:
% M' g/ v, p& a8 {4 g               
----------------------------------------
  W8 @3 J5 g6 k" W+ C
* _3 N7 `% y2 v/ ~/ V4 O: ~代码说明：
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
  h/ B/ {! O" e9 U4 w; T2，segment 本身是很粗糙的，做字幕勉强能用。
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
1 D; D- e" r. \比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
5，model.transcribe 中参数说明：
/ d0 s  G3 @( d$ r, z( ?你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
% u; v4 L: w9 h# e. a1 w其中
) k& m- ~  s! ?1 ^, f    word_timestamps=True,
保证了你能拿到 word，否则是拿不到的
# y/ j: m1 g9 M1 b4 |3 P    initial_prompt = "Hello, welcome to my lecture.")
2 n7 a$ F$ m! {1 L: X保证能尽可能准确的断句 punctuation，但是不是决定性的。
' [& `$ j( N  l2 \& |. l- T% ]其他参数可参考源文件：
  P, ~8 G' x9 k* Z4 F, chttps://github.com/guillaumekln/ ... isper/transcribe.py
152 def transcribe(
从源文件你可以看到是支持中文的句号断句的。

! |& ^6 ?& h4 w6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
% @& c; B2 m; c4 b/ V) U7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
+ ]' t$ u) ^" _" e4 `- N! J8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。


$ y2 _# S0 l. c! s4 ^' n

nanimarcus

多谢各位榜爷打赏。