爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
! X- D& Q2 l& p V' h
" C- _* L: q' p) t
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
* i7 r: d- l( N# }( O w2 h
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
5 }( I- S2 j. w {3 u( R
----------------------------------------
( P. {* s p; @; v8 `& u
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
! ]5 h9 O+ p) k& b0 `
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
9 d4 K6 K2 Z; k/ @
----------------------------------------
& o7 |1 `3 U( q: O) `
https://github.com/guillaumekln/faster-whisper
2 @! O' z+ X3 E3 Z9 L8 @2 S V
安装如下：
" B1 ?3 X' ?/ b2 J0 R$ d8 T
1, Windows 10
& u( L. W9 B7 P7 d: o+ k
2, Python 3.10.11
4 T* y% ?4 V" h5 @! w! j% N$ ?$ D
3, CUDA 12.1
Q3 _" Y6 h- m
4, 在python 3 中安装
% x+ d* h9 |: {: ?5 o
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
3 L( A u4 F0 K! V3 F
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
) V8 W0 \9 p9 P- q
5，pip install -U openai-whisper
- ^( N5 z( Q: R9 p
这是向whisper 致敬，可以不装
! G9 \7 n2 y0 t) V" q( ]3 L/ J
6，pip install faster-whisper
; b1 }7 o5 U/ D, J" s3 {) u
----------------------------------------
$ x1 N1 p9 }7 Y7 X
whisper 我用的命令行，faster-whisper 我用的是python。
3 u6 O- V9 b- D/ Y% w7 p( M; c
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
8 |: _9 M1 c g; E9 y; `$ n
- G1 j6 a8 ~! x8 }
----------------------------------------
( H, b2 \6 |! J7 m. w, A
9 e* z8 _6 ~2 F: _+ I/ A
from faster_whisper import WhisperModel
+ _5 O* a2 j# B& e# p
+ `7 D0 _6 S4 G2 D4 e
model_size = "small"
5 O4 Z+ ?5 ?5 v
5 C1 M. n& S4 D j
model = WhisperModel(model_size, device="cuda", compute_type="int8")
% B) `% {& H1 E' B9 F9 R' z
3 `& o/ n- {1 v1 P
segments, info = model.transcribe(
; N X! O7 D5 {' X- g6 s7 l
sourceFileName,
% B5 [: W% `$ X* S
beam_size=5,
- z4 ^7 I2 _0 D
language="en",
1 r$ V+ ?1 Q0 }' N' w- J8 r
task="transcribe",
. m; m3 @2 a9 c7 w( ^4 V) i$ I) k
word_timestamps=True,
1 j" U: T0 |1 ?* l
initial_prompt = "Hello, welcome to my lecture.")
: b5 {! c' }- m3 {
2 N0 @4 s1 `! y2 [
for segment in segments:
, s. h8 q' q: @3 V6 q0 n
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
) F6 d; Q4 f' D
/ O, s# e* D: m- q! K- l" V6 c
for word in segment.words:
6 n t2 J% D% _+ t5 g7 T* L5 O! z
# f! W9 H. w! d
----------------------------------------
0 W8 X3 i1 F) e( I( g
& m" {% X! r }
代码说明：
1 j j% O- x; E- k: i3 e# t
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
. j5 {* N& ^0 z' N- [
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
1 L+ s" f# K# L
2，segment 本身是很粗糙的，做字幕勉强能用。
m) I' \( l6 r, n! }8 ?# W
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
% O) r8 J/ @* J6 j( {9 D$ A
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
1 z- V) A* w+ t' e8 Z% {
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
. p7 m5 Q! A) Q" e- n; ]8 c% o' K
5，model.transcribe 中参数说明：
: y' s* `5 I3 I; W
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
4 u( o8 e P, S) O
其中
; Y8 ~' W- W) T
word_timestamps=True,
# y6 s7 ]- j/ Q% Z6 v+ E" d) F$ v
保证了你能拿到 word，否则是拿不到的
2 ?5 l8 j: U% Z# ]0 `8 `/ h
initial_prompt = "Hello, welcome to my lecture.")
C: N8 m" ]; a8 s' K
保证能尽可能准确的断句 punctuation，但是不是决定性的。
9 p3 S$ h) o$ V0 k
其他参数可参考源文件：
5 O. C) L; x( Q) @
https://github.com/guillaumekln/ ... isper/transcribe.py
3 B( i( X2 J$ W0 X! ]/ f4 f) D
152 def transcribe(
7 h4 v, R0 Z: x' ?" x5 s
从源文件你可以看到是支持中文的句号断句的。
0 J3 d$ N R6 \& J Q' y
5 m- P; t6 G' w# F! f9 l$ p
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
# Q/ {7 a8 @" Y1 P/ L2 m9 ?# k
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
, P, [8 {+ a, m7 R. o. P0 b
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
4 o: r0 H$ }$ y5 }; p) t
9 n; W) p: l# P; q4 Q( w4 c
& s7 O# B9 N( l1 f2 U8 `7 P
( s& y; c; {# S
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2