爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
( s `- w2 o4 O; f0 E& D; z, ?
& A; ^1 O& }) T9 j
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
) E2 O# Y1 g# M0 m
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
$ t6 L; [: Y8 q! j
----------------------------------------
8 Y. d, {6 j, O' e* S
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
- _( r) h7 H2 L# i
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
0 [3 \1 b4 X4 y2 x
----------------------------------------
8 c+ P- j, `8 I) G4 ^
https://github.com/guillaumekln/faster-whisper
/ N& d. a0 p, X# N; Y$ O
安装如下：
+ R, j* t9 C% c8 Y( g; K( F/ d
1, Windows 10
% m9 m7 ^% c9 O# @! G' Q9 E
2, Python 3.10.11
! q3 L" Q- V: a5 ^/ p+ b
3, CUDA 12.1
$ ^$ t' m6 z. l' M: ^
4, 在python 3 中安装
5 Y7 X# c# w9 E! k8 F4 @$ o! U6 i& o
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
' U2 O! {3 @7 Q0 u f" b6 V
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
% i6 W9 r1 d- V- K7 ]7 T* n
5，pip install -U openai-whisper
6 E* j$ b( s( `3 n4 j8 Y6 n) b/ |
这是向whisper 致敬，可以不装
+ M, }3 f/ v$ C
6，pip install faster-whisper
1 a: q% W' e1 m8 j9 I
----------------------------------------
8 w1 T; |6 F2 ?) Z* D/ V+ K3 {6 i/ j+ }
whisper 我用的命令行，faster-whisper 我用的是python。
* z" i2 U5 A" ?6 w
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
* s. ?- ?7 x9 m
7 v% H* L9 C3 p/ T: j% l
----------------------------------------
; A5 p1 G. X' m) ]+ j7 c
3 f6 A) I/ p$ |( d$ I/ t
from faster_whisper import WhisperModel
% U' y+ [3 n# s9 r+ V
. d0 G- o7 B9 N6 U w g8 j$ m" l
model_size = "small"
$ w, c5 c4 b- X8 P2 g; G
( g, }- N- E& _+ |
model = WhisperModel(model_size, device="cuda", compute_type="int8")
! ~ m! h( b( K1 F$ l) [8 x6 m
+ u- F' _9 N' n4 o# V
segments, info = model.transcribe(
% `2 L# }7 ?' n& |$ R
sourceFileName,
8 P* H, \; D* k0 R0 }
beam_size=5,
% r3 K1 F+ V5 ^8 ?% L' @
language="en",
: |; n; H0 ]- `" v" v
task="transcribe",
9 B: d; T- c1 C+ j& d( v& o8 Q
word_timestamps=True,
5 ~7 f6 v5 E& [5 ^" \3 k, M) r
initial_prompt = "Hello, welcome to my lecture.")
3 i$ e0 M$ L6 G0 V# {! ~
$ g' i+ S0 W: {, Z" k
for segment in segments:
8 V. y1 y5 t/ V
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
, |( ~! w4 w& S1 c
: c' X, M7 @$ g& a/ s
for word in segment.words:
. ]9 R0 \- A1 C2 n' e& }# ]
) R) M; k+ G+ l; A( k3 \9 e4 `+ u( s
----------------------------------------
# z/ k- o* `0 f
% t$ Y0 f$ z; I* @0 K. z
代码说明：
* y9 u& G3 R* Q" Z; y% @5 _. V
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
! p8 m/ C6 T$ @! K% w9 x9 b
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
% T# T! ^2 S" k& D+ @/ t3 b+ X
2，segment 本身是很粗糙的，做字幕勉强能用。
* l& D8 o3 a: _5 m3 ~+ U' ]9 d( w
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
. _! F* ^6 l. A( V* T
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
" V, O: s( `& F7 l z
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
. P, g* Z5 o x
5，model.transcribe 中参数说明：
# T ^! i" _. R! s! E* I
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
! f' `- }3 B! v* }! [ e
其中
/ P* n& Z; Z" @) ]
word_timestamps=True,
8 y- g. |! p# g$ T' F- u& S
保证了你能拿到 word，否则是拿不到的
1 b; z U& @8 q! H8 @0 X5 n1 |; }- l
initial_prompt = "Hello, welcome to my lecture.")
3 G# t2 e- o6 x7 S! g5 Y
保证能尽可能准确的断句 punctuation，但是不是决定性的。
: j1 F( n) k% h* S) p7 G
其他参数可参考源文件：
- j; X7 j/ j- m
https://github.com/guillaumekln/ ... isper/transcribe.py
- D6 y7 i2 x% J& i9 E: E
152 def transcribe(
2 A* @8 B# L3 b' y* i0 N, s
从源文件你可以看到是支持中文的句号断句的。
! w0 r( {4 m& G- P' J5 N f* w }* h+ q% t
- {) S3 ?6 S5 L' Q* l% S) e
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
) d# q1 B& @" j9 e$ ~8 A
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
- G; O% M# u% \; X* q
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
. k; `8 z5 Q0 f) p5 c( [
* `" \* f& Z1 S
8 Q& T" E0 ?5 I
. j3 h" J/ s9 _; C/ p( ~, |
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2