爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
5 l. W7 U0 M7 j/ o" y3 |
( U6 @# P2 @9 B4 e x% U6 t, ]
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
1 e+ m0 F1 n- w% `
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
: ]% U' M" k8 s* v# [6 y& L# K
----------------------------------------
6 i* M6 P% R2 p* J" K% q
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 X7 J& K" ~: h9 Y; H( `: o+ c
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
$ k, W% d( [, b
----------------------------------------
; O8 i, T3 {, i) `
https://github.com/guillaumekln/faster-whisper
- P4 |& Q" o X
安装如下：
& s. p, L6 p3 ?. ~+ J
1, Windows 10
( r7 }! g! W( o2 A$ f- h# y
2, Python 3.10.11
; Y! z$ M! y! U
3, CUDA 12.1
, f5 c. o: z9 G4 a. H4 d; T
4, 在python 3 中安装
. {6 d7 W( s* `4 }! B( S: ]! x
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
# e2 P4 G6 o) Q$ r. a& \6 {) q
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
* Q. l: I; }* t& y1 \
5，pip install -U openai-whisper
, }% o/ n* g5 Z" ?
这是向whisper 致敬，可以不装
. y: q( H, E3 Q! j; G4 \
6，pip install faster-whisper
4 y; b. s; A- m3 B6 B0 D# p9 k4 T
----------------------------------------
' R, ^3 P7 m" n1 c" H$ d
whisper 我用的命令行，faster-whisper 我用的是python。
. U; K7 y/ h6 L
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
$ y7 q7 ~% r d' `
* E( c8 P: W z4 y/ x! n7 {9 d
----------------------------------------
/ W. `" t, X! C$ V8 O X/ e
! V9 v \& j3 {6 w( i$ a. C( R
from faster_whisper import WhisperModel
4 E" r8 l8 }, p- K) O1 f
) X# E' N( l2 ?' u7 [
model_size = "small"
+ q* a$ v6 o7 c1 ]* C A. r+ v/ e8 Z
% G( B) L' N4 E+ b& G
model = WhisperModel(model_size, device="cuda", compute_type="int8")
; R: w& N) l2 f$ a6 I+ f- x: N( a' a
4 ?# s! q8 s# k* d7 p' E% D3 \2 O7 r
segments, info = model.transcribe(
8 x: ?# F! ?$ w9 I8 s" I
sourceFileName,
( J ]8 i: w% X9 D/ W9 G
beam_size=5,
' W1 o4 C3 `) X, V C* e
language="en",
$ r0 G/ I* o+ H1 R
task="transcribe",
5 S, M6 P) j$ T* o6 \; L* o
word_timestamps=True,
, m* E6 [+ q& }8 k
initial_prompt = "Hello, welcome to my lecture.")
% v# w% ~4 g' h5 o+ ~
3 h; q+ ^7 |4 v! ?% A! [; Q, g
for segment in segments:
& |3 k5 v2 j1 b# W. Y
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
1 R. Q. a m8 [+ \
; \5 H( |) I% l7 z0 X2 G6 D
for word in segment.words:
' k/ x, ^& C# I2 L# s! \
9 p0 `0 Y- [- K5 ~0 h$ }, c* \
----------------------------------------
8 L$ X; Z! H: w/ H. u t
$ ^% J7 E, J: ~ Y5 C4 @, N
代码说明：
; D3 p6 } k3 A! V0 V5 d% G/ H. x
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
4 L: p8 O; n \3 D' b1 B6 J9 s
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
' L+ n# {0 @. D' @7 s: }
2，segment 本身是很粗糙的，做字幕勉强能用。
% Z% ^! ?) q9 a
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
6 d; b$ N7 Z! Z% ^
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
) R J4 v, V( D- q2 m
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
$ B7 U$ m2 `5 A6 s! H! r
5，model.transcribe 中参数说明：
% O9 [" h4 Z8 G% Z$ _# t# @ P& t6 _
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
' I, O a4 j% i, _" P1 O/ D
其中
; I2 z! C( W: B
word_timestamps=True,
3 W) F6 {( s, o8 b
保证了你能拿到 word，否则是拿不到的
& l% d! T# z# |3 e
initial_prompt = "Hello, welcome to my lecture.")
4 d$ ~3 Q- I4 ?
保证能尽可能准确的断句 punctuation，但是不是决定性的。
/ X& R( s) h. F$ U8 [
其他参数可参考源文件：
% T. r) O. x [2 @* [4 w
https://github.com/guillaumekln/ ... isper/transcribe.py
2 O- `; z% o. d6 M; G5 j
152 def transcribe(
4 q* x- ?( q, u- v6 \ n
从源文件你可以看到是支持中文的句号断句的。
3 B$ ~) f6 c; x2 |; L D) G- h. ~7 m6 |
' m+ y7 z, E U, P: z
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
2 q0 l# x3 I+ R7 G Z" _! a9 ], c
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
% m3 i# N% }- |5 |4 y' w
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
# v. D' u4 |& |; n( [" U
1 v3 D( Y# s1 s6 g7 J# L/ _
8 Q1 J1 K! u, Z2 a, b
$ H0 r2 s7 h+ n6 v! L
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2