爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
" i7 Q7 l7 [1 L0 j: W7 E) ^8 [3 {
' V, K, o! s) w4 d9 S* K
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
5 \0 h7 _) f4 ~5 v: v# `9 p
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
3 K) X7 u% |+ N8 `3 A
----------------------------------------
& \4 F. b3 \# X) e" I8 N0 F
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 A P9 I0 l9 a7 \) N1 x
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
( [5 |- h6 F& k# M
----------------------------------------
9 B _, L7 q; ^$ A; E7 i
https://github.com/guillaumekln/faster-whisper
+ J& u- \& U- R* I5 m4 w
安装如下：
7 e) L1 }4 ~" k- ^% k5 L
1, Windows 10
, b$ V' C6 t p6 K' {( p
2, Python 3.10.11
1 y, z! |! p6 G$ \: C R* \$ P
3, CUDA 12.1
! C; J- F. U- l- E
4, 在python 3 中安装
( R$ M5 a' V0 k+ ~% T* ?
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
; R% r5 u/ L' R
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
/ G3 M9 }# N# {- F
5，pip install -U openai-whisper
X! |0 F' I0 K) `+ S+ b- R9 o
这是向whisper 致敬，可以不装
. ?# n/ F! m3 _) \3 i5 f
6，pip install faster-whisper
6 Q! b& S9 N) t7 Z( f
----------------------------------------
/ k9 ~. |9 x1 a& L/ |
whisper 我用的命令行，faster-whisper 我用的是python。
% R, r" l4 m" m! [: X% ^
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
+ W. Z# e4 \4 n" }% j" Y' N
- @: w% g% ]+ X
----------------------------------------
( `7 Q, l. r' [2 A+ L( O7 J
6 `& D# w, L4 f5 m
from faster_whisper import WhisperModel
( t4 `. A8 ^; x% U
7 M# L/ {! X/ r, B ]8 M
model_size = "small"
9 F) Q6 G5 |/ m- j3 B# t& S+ I
' h+ E) b+ p( G- q7 L, o
model = WhisperModel(model_size, device="cuda", compute_type="int8")
" i- p( L$ n/ j, }# A6 b/ Q" u4 @
/ |% t6 E4 A) q& @& b) O
segments, info = model.transcribe(
" p# E& v. b3 b* c9 f- C8 T/ L8 P
sourceFileName,
3 {7 N$ O4 w& @5 j+ S4 j3 t
beam_size=5,
# G% J0 x$ q5 K1 y5 H2 H
language="en",
0 d' q) z$ _1 w* V' ~
task="transcribe",
( C0 O& [ N- @9 _2 M
word_timestamps=True,
- d% a) M m9 P, X ~
initial_prompt = "Hello, welcome to my lecture.")
8 g1 x- u- J2 J+ f
2 j6 p. E! z/ i$ h- e9 x% H
for segment in segments:
1 Q: E" e/ b5 ]$ `6 u+ S1 ~
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
. B. E4 ~0 X# u0 _" `6 u6 ?
) Z1 H, W4 z7 N d
for word in segment.words:
! u+ a: w4 T$ @( S
+ p$ y4 I; n8 V$ G u; g0 y7 `$ ~
----------------------------------------
. Z9 `% F; U) X
/ g, [6 S N) `3 R$ V: o, l
代码说明：
& A- |* A0 |! c# M- F: W$ W1 Z* k0 k
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
& E% |6 r3 p, ?) r/ ]: J( C
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
) Y# f8 W4 c/ ~1 m% j e
2，segment 本身是很粗糙的，做字幕勉强能用。
. e& x. C9 e0 X: F5 z8 m; n( {! h/ X) {
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
' z& M, d4 z+ d$ a' Y P
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
! U! E4 Y- F4 v4 H' x- g' d0 f
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
8 }7 e7 V1 ]! r
5，model.transcribe 中参数说明：
' i! C2 K. y: U6 c+ s2 c o. j
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
' S- L5 K: j i
其中
0 H! H9 v# U- V1 Q x3 Z! e
word_timestamps=True,
% d% p8 n7 P9 q9 S2 |/ G* ^
保证了你能拿到 word，否则是拿不到的
4 x% S4 N G8 r+ a( W
initial_prompt = "Hello, welcome to my lecture.")
3 |& p" m7 F; z8 T B) N+ _: M: G8 x- U
保证能尽可能准确的断句 punctuation，但是不是决定性的。
- ^1 L. E; m* ]
其他参数可参考源文件：
! @% |. P$ T4 Z+ E" ]
https://github.com/guillaumekln/ ... isper/transcribe.py
6 v' s# t, \; l7 V4 r2 R
152 def transcribe(
% q3 W" F) _# o! K- S
从源文件你可以看到是支持中文的句号断句的。
5 o/ R8 V# \/ V, w' G" n- f/ ?
5 L9 N0 |0 t% t6 w
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
9 _$ U: d- D# {
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
) [. i: }: G5 I3 ?4 M
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
4 R3 Q& i6 a# T h
5 F9 ]- J% |( A
( z1 V/ L" v1 b, _! \& }
8 x! P. i; R: | V e- }! l
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2