爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
" ], U; Q+ G0 a2 W8 E1 A! P
. f/ c5 t5 E @% h
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
$ i& f# z4 Z3 N e2 K
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
/ ]' |/ t1 d; Z) x2 |; ^2 y
----------------------------------------
7 t) w" l1 O/ L8 x# z9 j' t
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 P2 u3 p5 l: V# b% C
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
6 H$ Y3 {9 d$ A1 _' `6 g, z0 L
----------------------------------------
/ H g9 I3 T0 r2 h0 K
https://github.com/guillaumekln/faster-whisper
. W r; |2 p6 l8 r6 j' M5 \
安装如下：
* L, O! n# V) a
1, Windows 10
. y# p4 [7 v: r- S
2, Python 3.10.11
1 m; A: K( f. l) V+ P
3, CUDA 12.1
3 c, w8 `: d1 K
4, 在python 3 中安装
; a9 ^7 Z% ]% d2 E6 F* j0 g
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
. o* T5 I' Y9 F* K
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
! \1 V) h! s5 v( o) q- p; O o
5，pip install -U openai-whisper
! j$ v+ t: H- _
这是向whisper 致敬，可以不装
8 q. r/ s2 r1 e2 D
6，pip install faster-whisper
. I: g9 e8 ~' v0 K# {/ X, i2 R
----------------------------------------
! D3 n( u, \1 o: ~
whisper 我用的命令行，faster-whisper 我用的是python。
1 i& _) \9 m; m+ n
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
+ d A- z* T+ l# `
3 E2 p v: A, H% z7 ?9 t3 j
----------------------------------------
8 [( A! L z' L
0 ?( O e1 m- V0 L( [
from faster_whisper import WhisperModel
5 j8 J' Y% ?8 ^0 A
$ @( @5 R$ B2 [$ @
model_size = "small"
! m3 {( h$ ?) _+ R" y
5 ?% Y! Q# \5 O9 m d
model = WhisperModel(model_size, device="cuda", compute_type="int8")
$ Z0 R; x) [, H' T9 P0 E
) C5 E% k" T O1 o9 e
segments, info = model.transcribe(
$ u* o/ f2 M$ T6 N" Y0 b# c) Q7 P
sourceFileName,
0 a# G1 Q1 D) ]; L
beam_size=5,
; L) ^7 a+ G9 X6 d
language="en",
4 Q; H# @4 q' a6 Z$ t7 _6 p- _5 g
task="transcribe",
$ S* k3 L1 e3 K: S$ {9 H H
word_timestamps=True,
) j$ p2 E* H$ A+ a0 v
initial_prompt = "Hello, welcome to my lecture.")
2 b# h1 v5 O h. X9 k/ C" B8 Z
5 O# s, ~ L! @- _) }
for segment in segments:
2 E# t2 `6 ~+ N0 a
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
+ P; W! `9 u, ~+ k
5 p9 U0 W* P/ M! j: R
for word in segment.words:
* B8 K# c2 a( ~- x/ j
( K( z. g ?$ w3 l; ~# K
----------------------------------------
# U0 ]# L# @5 [: X6 t3 V0 |
: g$ D8 d8 G/ M, l8 q9 K; l" `
代码说明：
8 P1 W! W+ K1 I2 i2 n
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
: u& g. b8 Z1 _6 u4 i
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
/ m/ d7 H$ h7 u: A
2，segment 本身是很粗糙的，做字幕勉强能用。
6 X! c- l/ G* ^. W
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
+ X, V) ~; D! \0 Z) `' ?6 t. h: a
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
c, |* E: k/ d& K
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
9 b! |. H- S9 g8 b
5，model.transcribe 中参数说明：
- g& v k o( Z. [% ?' r5 j9 r5 g
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
$ H6 L) Q8 n! B% n' _
其中
" W* y& b6 _6 m4 F7 O
word_timestamps=True,
' D1 m2 B7 G7 Y
保证了你能拿到 word，否则是拿不到的
1 j6 `$ h J: j# `5 o: R
initial_prompt = "Hello, welcome to my lecture.")
# ^/ B8 Z& m' u2 [' q
保证能尽可能准确的断句 punctuation，但是不是决定性的。
. K- D; N5 c! |
其他参数可参考源文件：
# t1 |! I5 o: m. h
https://github.com/guillaumekln/ ... isper/transcribe.py
9 N9 O* p. A+ c6 ?, N/ c
152 def transcribe(
K9 B; i5 _5 M4 X- j' a3 j8 F
从源文件你可以看到是支持中文的句号断句的。
8 H' P4 k1 b# g. R) {4 }
- q4 x! n7 g, ]1 Y+ p7 {
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
$ L% {$ A. V, z5 ?: m
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
. m% T$ \% t& k4 V+ G
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
' B% X/ h; Z5 m+ p ^9 f
( K3 [. J; i& f: C' M# I
& y9 q6 q& ^$ f% t
# f H( p& t. [1 J2 ^7 m( o7 D
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2