爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
' L1 z4 `) E, M7 @# B+ w8 i
" U2 \" j" F: r P
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
2 D* V- \4 d' y# G: {+ I, A' `1 J
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
, i/ H+ }0 A3 j
----------------------------------------
. ^0 p7 a7 R0 P" R2 O0 r$ _
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
! s- F, g E/ I+ M
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
2 Q8 F" q% A8 E1 u9 l
----------------------------------------
3 n, W) j$ h& a' U4 K$ D" f
https://github.com/guillaumekln/faster-whisper
# y0 e, I1 l9 p h; g
安装如下：
& F3 A. t5 F; w, }5 h
1, Windows 10
$ g, d- K: }, q, ~9 v( \( M
2, Python 3.10.11
# u% [+ W% Q2 S* P
3, CUDA 12.1
3 O7 ?2 t- p- I1 H
4, 在python 3 中安装
4 l$ F" o" u+ D% D- A9 A
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
+ v4 }$ j* b- p) O3 J3 ^! y
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
- z. U0 d5 _) n2 u0 s
5，pip install -U openai-whisper
7 W( m! m& g% n7 Q6 c* k7 x
这是向whisper 致敬，可以不装
# K% A. {# L# Q4 j* M) v. ^8 H0 R
6，pip install faster-whisper
8 L. K2 d( p+ \& B0 [' `1 L* h
----------------------------------------
i" G, p& }, @# P
whisper 我用的命令行，faster-whisper 我用的是python。
3 E& H7 P& D4 g0 X5 \4 \) P
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
# ~8 v3 s& a& R# b* E
" w* [# C9 b" u- X1 Y* R# }/ f. [, z
----------------------------------------
6 p1 e* N) B8 u
/ U$ z" j- n7 ?% Z6 {
from faster_whisper import WhisperModel
* x1 y3 Z2 J! u% l
4 S6 A. @" P- I) _
model_size = "small"
# O3 W: q& n. w- I* s, U7 `2 S
. o# T/ {' c0 d" c4 z
model = WhisperModel(model_size, device="cuda", compute_type="int8")
$ o; u) Z! g. ?8 O/ s
3 d$ N* G" n3 F8 s
segments, info = model.transcribe(
0 ?, Y2 ~. G# j6 S4 B y/ i
sourceFileName,
7 O7 T) F$ @' z3 y6 z
beam_size=5,
6 M8 l, ~' u/ O$ F: p# @
language="en",
) K* Q7 P- }8 J" j( a# t5 }
task="transcribe",
, R; E, ^, Q5 ^. L
word_timestamps=True,
+ _# z! f, N3 a5 L, }; G$ S
initial_prompt = "Hello, welcome to my lecture.")
! Z% h9 R$ Y. @4 _ Y- a* L
+ O- s: u3 {2 u9 c, }/ U
for segment in segments:
; \9 S- U- S+ o9 V; T" F% D, o
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
6 f& u2 b+ J2 w- E6 T
4 W" i5 N; b/ w5 D
for word in segment.words:
8 G- n; G% T4 b7 i7 }; _9 k/ I
2 y: r- P+ P: w/ E# l: T0 S
----------------------------------------
1 ?, \: Z; X4 N* _4 @1 O7 { E! J. G, b
. N* B/ r& S9 }" S& V9 n* a9 |
代码说明：
+ C# k. V4 F& _
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
1 X3 D9 U2 s$ A) M! J& Y/ x) ^
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
, B7 \* M& M7 Z# _5 ^
2，segment 本身是很粗糙的，做字幕勉强能用。
+ k2 f- ?% f1 I& o. I9 F2 U; r
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
# U8 Q2 _, S4 ?& p- L% s4 H
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
/ p Y9 O3 F$ B g3 a( T& Q
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
V1 p9 x, C; p* a
5，model.transcribe 中参数说明：
' v$ h: A- _9 h
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
1 `" U* @+ G8 n- y. J* T
其中
h+ V1 B; u) h8 T# J
word_timestamps=True,
0 l1 `9 J3 e% q% u3 q# z
保证了你能拿到 word，否则是拿不到的
& g* `) e# F5 S' c0 [6 Z9 W. h
initial_prompt = "Hello, welcome to my lecture.")
4 E8 N) }. q- s* d8 ?
保证能尽可能准确的断句 punctuation，但是不是决定性的。
" ~5 b L; F8 q3 R( t& e
其他参数可参考源文件：
& K" Z# X4 n- p$ n7 }
https://github.com/guillaumekln/ ... isper/transcribe.py
" p. ~. L! Y3 y
152 def transcribe(
* G: U, s( |0 F/ [
从源文件你可以看到是支持中文的句号断句的。
+ }: ]4 p4 P5 a- f7 h3 m- j
y. v6 U) I* l! j) C
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
, z1 {) U: j, | B9 \
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
/ Y9 j6 g. m4 ~( }' s
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
0 {* d2 d1 b l% V
/ r0 L* u5 q3 y
& M! c' Y8 s5 L
4 k, ~4 t& W a$ p$ e
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2