爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
; ?( i/ W; M) M6 v
+ l8 s/ `2 |; E# W
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
* s5 }+ B7 Y) S0 ^
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
" o0 _/ L% `1 \( p' W* g" A" g
----------------------------------------
3 N1 g0 k& N5 P
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 s( _) w9 E5 g) \' b/ b% W ?3 r F
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
+ B( C6 F% U, H; a: O5 V) n+ j% ?
----------------------------------------
' ^2 q2 G8 }5 r8 }7 l) L
https://github.com/guillaumekln/faster-whisper
6 D6 g( N! j( ]. R% _8 m9 J
安装如下：
3 _) N c2 Y3 `% U( z8 ~" N
1, Windows 10
# Z) G0 a' r& W2 D; l" ^# h
2, Python 3.10.11
7 t" Q4 l |- C0 J: M* K* z
3, CUDA 12.1
$ {1 o, ~8 R. F* I2 K
4, 在python 3 中安装
& \# \9 M. M7 u3 N+ u% `2 n
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
4 x9 D B* G6 N! S+ `
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
/ L3 w/ H1 @8 Z; w
5，pip install -U openai-whisper
/ K* |$ H `/ d# u9 k
这是向whisper 致敬，可以不装
9 ]1 A. B! H9 G* f+ Y0 D1 O
6，pip install faster-whisper
4 L% U7 W3 O; Q- W0 S+ ^$ `. S1 b
----------------------------------------
; ]" s6 o5 y, G
whisper 我用的命令行，faster-whisper 我用的是python。
5 O4 B7 f- t/ t0 z, q" m5 j! l$ |! R
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
' g$ P, d; {) p; ~; u$ C
& h; w' @) E' S$ t1 m: [
----------------------------------------
. s2 n# ?0 w9 y( g5 M; n; x! o& L
% x. Y1 j' x, d2 Y
from faster_whisper import WhisperModel
9 c4 q0 c! {. f* Q2 w
: |, {9 G" u/ e- V
model_size = "small"
9 k8 t9 U# v6 V
5 X' ]1 H+ [" l# i% @; U
model = WhisperModel(model_size, device="cuda", compute_type="int8")
/ w( n& B; ]8 G
8 s/ W" @6 N0 S) c0 Q; Z
segments, info = model.transcribe(
3 }% K, D: n: K* F7 t) X8 ]! C6 i a
sourceFileName,
' [7 P( |8 E( G+ h; l
beam_size=5,
9 |5 s! L( C3 k* j) D: u: f
language="en",
" V' S9 R- [3 o% I- H3 [6 N* H2 ~
task="transcribe",
! h/ i! O" H- a, s# ?; _" t! q( |
word_timestamps=True,
$ E. v9 w6 u& d3 d6 J
initial_prompt = "Hello, welcome to my lecture.")
, {# q( I% K8 }" a. g- W$ V; ~. t
' z! o: W B1 a; N
for segment in segments:
# x) K" \1 u; c: @( A+ r& [
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
# Q) t: v$ P# q4 D/ C, [- k; {" R$ N
! ` U' ?; ~( L6 G/ _ g2 p0 }
for word in segment.words:
) j+ C2 X4 N& M, ^( [ P9 f
( H9 F S7 D$ M9 H9 n
----------------------------------------
" @' Q, R& L2 P% J5 g6 s- A
; x( i7 o: J/ c- t1 ?
代码说明：
" W' ?& E* @4 K6 n/ K! c
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
3 H$ f4 Y7 R% z& n' _0 \
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
w7 ?6 E& I+ q+ T
2，segment 本身是很粗糙的，做字幕勉强能用。
/ V5 M) u% O& ?, ?! `
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
" Q7 a4 ?9 h- w% @7 Y4 m. z- O; r
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
7 l9 Q X. x L: \
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
* m- I3 @, W9 \, u
5，model.transcribe 中参数说明：
5 U1 S) o. w. p1 G8 @) p7 M. @: L
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
( s. p( u" [. F3 a
其中
# ~* m& y4 k3 v7 V8 P% |+ F
word_timestamps=True,
+ \; X# J6 B5 t& D( b
保证了你能拿到 word，否则是拿不到的
) z! p0 o2 Z- w8 `! t
initial_prompt = "Hello, welcome to my lecture.")
4 N' J/ R4 s2 T
保证能尽可能准确的断句 punctuation，但是不是决定性的。
* t: L9 |2 n! r
其他参数可参考源文件：
9 [1 Z0 ~. s: [
https://github.com/guillaumekln/ ... isper/transcribe.py
* }+ V# } t) r2 e0 K7 M7 }, p
152 def transcribe(
- W, ?! R+ H( G, e
从源文件你可以看到是支持中文的句号断句的。
+ Y" a+ k2 T, f- ?5 k& B
) g0 \# S+ g, K; h3 E& v
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
: l% D1 D5 H ]2 T; ]
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
3 b' W r9 ~. f( p i
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
4 k( Y0 K0 ?& p1 z6 U! K l
0 _ F$ w- O3 u7 ]5 I. U
1 V6 j) k# I) n9 M! ^; X
6 T' Y* S9 C+ y. C
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2