爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
6 f9 B) v& K. J8 Z0 {
# W' z9 Z: i8 T" Q% m: f
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
* O- a, j( W0 h9 j3 z
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
7 _! x F4 |4 F9 H: s1 x% D
----------------------------------------
: p$ h2 \5 W/ M6 i( `3 r
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
) f; X- k% W$ d$ q
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
1 q: l( z; P* L2 u
----------------------------------------
# X& i2 U6 S3 _) e$ F% [" T4 e4 F
https://github.com/guillaumekln/faster-whisper
' ?; x! A8 k5 }$ F9 A( L
安装如下：
9 u# l$ u3 {% y! k
1, Windows 10
( ] V0 W3 k3 G, {7 V
2, Python 3.10.11
* \6 Y; B( d$ x E
3, CUDA 12.1
' z+ r/ z' I) i9 G a
4, 在python 3 中安装
1 k! ?7 f: a4 O* x
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
! {* l5 V0 f6 R$ Z5 |! A3 Q! I
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
" f1 E9 }" V0 o/ V+ n
5，pip install -U openai-whisper
" w# M; v1 S9 I$ u. v# y
这是向whisper 致敬，可以不装
, W3 |4 J V# P) o& N p( z
6，pip install faster-whisper
, a, w C; {' A& G5 P
----------------------------------------
7 \) i- d! g/ y( t0 U& Y
whisper 我用的命令行，faster-whisper 我用的是python。
9 V9 v. x7 n* d+ x$ x# t9 M
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
( `% G" t Z' H/ y/ ~/ H- n/ @
% _4 c7 {! J. y
----------------------------------------
6 @$ G: A# k7 U% a8 t
: F, G2 Q9 ~' C' g) b# n
from faster_whisper import WhisperModel
( p9 \, I) Q" R- _0 _8 x+ d
. J+ E3 |* x% b+ v2 Q7 B# ^
model_size = "small"
$ X, M' u% K1 k$ g. T
; V& v: U( R/ U3 A
model = WhisperModel(model_size, device="cuda", compute_type="int8")
6 Z1 l0 w8 p9 ^' Q% I
: f# K* ~1 x8 J6 z* j. R+ \3 b: j
segments, info = model.transcribe(
8 x8 J' N3 d9 }3 C, w5 A
sourceFileName,
& E* S9 B) Z" @/ [& P# s8 f
beam_size=5,
! p3 T3 b; a" ~5 c1 H4 @3 E g
language="en",
7 s- }9 l% H) r. s, H3 I( Y
task="transcribe",
/ R% R8 X: P1 A% E1 H" X
word_timestamps=True,
+ ?1 H% U3 e0 E1 P
initial_prompt = "Hello, welcome to my lecture.")
* T/ `+ \( j( r) `4 b
: V# W) I% D! @* T, ^2 L
for segment in segments:
1 i1 I2 v* ?2 u# [9 Z; a5 n6 H& g
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
# r) r* F3 [$ f* a8 P' }
& Z, X& M& ]% r) x) `7 r7 o
for word in segment.words:
7 @$ N6 f. E5 G, y' x7 [3 e" B, q
6 Z0 G1 E, g4 K" ?% B& R
----------------------------------------
8 E. A3 v# Z5 N
4 U2 e0 N1 `( k# W2 e8 I8 J
代码说明：
6 a, X* N" T2 _3 L& R
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
" R; ~/ r: I8 o4 ~
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
% y5 t% {- T" t7 Q
2，segment 本身是很粗糙的，做字幕勉强能用。
5 S6 _& U4 W0 L, G) c6 @( F9 ?# v
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
. t' z. J: ?. j
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
/ D1 R% x- ` r0 a+ V
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
4 x4 l4 u. \" o
5，model.transcribe 中参数说明：
2 G4 P d8 }" q# m& q9 f
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
C0 I$ m" ^, ~' Y
其中
8 P8 [4 F8 D" i
word_timestamps=True,
: Z6 N" ^4 ?! ~4 K. Y
保证了你能拿到 word，否则是拿不到的
, R) g- z; S; y/ I8 N1 T% z
initial_prompt = "Hello, welcome to my lecture.")
7 i4 h8 \+ l: y. ?& c
保证能尽可能准确的断句 punctuation，但是不是决定性的。
; {, B% E' A0 N' O. z
其他参数可参考源文件：
. z$ ~7 j) j$ l ^& _) C
https://github.com/guillaumekln/ ... isper/transcribe.py
* l1 u2 V. F7 x6 n/ }
152 def transcribe(
( [0 _0 K6 S$ o9 Q
从源文件你可以看到是支持中文的句号断句的。
2 r4 A5 k1 h( I" t
) T9 H/ d. O% @, C
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
+ {0 i' {7 P4 E' B
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
o* {1 l2 R/ j: {8 ]
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
) H3 D; o3 E- I) k9 S
' K9 u, O! M# a7 W/ m" |
$ J. R& r' z4 K y$ P
4 J+ d/ `' m3 k1 i4 w% J
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2