爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
. z- O8 M1 N4 y# n1 c' ~
- q! ~% t! o$ D9 [( p
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
( w) A. ^, h1 x% d- E
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
; Q( T8 c* E8 ~& w% ^
----------------------------------------
$ R L/ e1 D) V0 m: f
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
% C! g" v5 t W |$ d( p
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
6 @9 f2 }- E" C5 _& \; W% B. W( H
----------------------------------------
3 Y" p% ^( P8 _1 G4 o1 A
https://github.com/guillaumekln/faster-whisper
. M! `( x" K8 l- `( M4 K
安装如下：
8 Z, o3 ~! T' i/ X
1, Windows 10
% \7 }, ~7 V# M# ]/ U8 D
2, Python 3.10.11
^' \4 e1 z* }4 ]8 _( e& {
3, CUDA 12.1
6 {5 e+ k7 Y' n; q
4, 在python 3 中安装
4 o0 H8 }0 z: t3 n ]* N$ v
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
4 A `7 R$ S0 U" V
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
3 ~/ f3 i5 M7 _) @0 q* S- r. f( O1 [
5，pip install -U openai-whisper
% N' o! U: R- P) O Z! u. i
这是向whisper 致敬，可以不装
5 k! p- E3 v, ]" Z* @) a# L7 T
6，pip install faster-whisper
& T# T- P' q( P8 }; {
----------------------------------------
7 c7 x* g% M4 j
whisper 我用的命令行，faster-whisper 我用的是python。
+ @5 s) A9 e1 F" ?+ a7 G4 d
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
. a; S5 E) f( {! h2 F! _
) U z8 a! e7 b% {( B
----------------------------------------
$ K5 y6 t& Q9 X0 w. g `) X- a1 {, |2 {
7 D! a' t% f% q
from faster_whisper import WhisperModel
% }9 m* G8 e, K+ K% P W9 e2 V
% S, Z( ]8 u5 k% @/ p4 i( \0 B' N
model_size = "small"
9 J5 V9 x% _$ E) n8 p/ n+ I
" u8 W! [0 V3 V2 M" N
model = WhisperModel(model_size, device="cuda", compute_type="int8")
5 l4 a* m' R* r R
: U/ Z! G! k' |5 r8 G [
segments, info = model.transcribe(
7 s' d+ u7 }1 M! y9 f: |
sourceFileName,
) H7 x/ W6 s" w* B( _
beam_size=5,
3 c8 E9 q- E/ p; H: s2 N
language="en",
$ S$ r$ ]" K+ C! H8 D
task="transcribe",
- y, w$ v9 g5 `8 s" j6 r
word_timestamps=True,
- c! n9 W! T+ n
initial_prompt = "Hello, welcome to my lecture.")
; o6 c! n- J$ n% c8 |) M9 _
9 J$ V4 k2 U& J
for segment in segments:
% C; Y- |9 B0 R- @
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
, m' Y" @9 J4 i% f. X4 `; w( l- o* M
7 [. _" K4 c) {7 K/ x
for word in segment.words:
2 s8 Q9 S. s5 F9 a
# {' P$ Y& O' w* V" I3 B
----------------------------------------
3 ~. _* M1 j) t9 h+ c
1 U+ v* O# c3 h
代码说明：
5 l( ~$ I; r* [6 i& E. C/ y- m
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
2 Z. H$ _2 m' Z1 C
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
3 C# I0 o Q' x/ S
2，segment 本身是很粗糙的，做字幕勉强能用。
, V2 W2 K# O& D. [! q
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
; t9 _/ U" D: M' s8 j R
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
( k! I: z1 L; j+ w% c
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
' Y/ _; x% N7 C6 m
5，model.transcribe 中参数说明：
( ^( N; q& u) K# r5 i. J
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
0 m$ @: t% C, i% Z% l$ F
其中
6 d, m2 h* ]5 o# S# U) R0 v
word_timestamps=True,
8 `: d% R* F! e b" Q
保证了你能拿到 word，否则是拿不到的
w# g( b) c5 @( Y, ~2 A
initial_prompt = "Hello, welcome to my lecture.")
4 J) s0 h: S! W ?/ B& _6 g
保证能尽可能准确的断句 punctuation，但是不是决定性的。
& A1 k6 a; A! N' x# P
其他参数可参考源文件：
! P, s$ u/ Z& ^) Q7 Y/ ]
https://github.com/guillaumekln/ ... isper/transcribe.py
7 g- V- y# W/ G
152 def transcribe(
' b; D( ~2 B! ?0 T5 c( W; v
从源文件你可以看到是支持中文的句号断句的。
4 u0 @) z5 b$ ?7 ~
$ y5 h& W" ?+ Z6 N% c0 K
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
' K' o: M$ G y) @; c3 Q7 b0 w
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
7 ]4 \: K( G" ~7 j1 G
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
' g1 x7 s( d. _. k$ }4 Y5 X% h
: V! W' r4 g, X; {2 f) J0 B
* c$ A# G9 Q9 O. h: M' }8 A. `
' I$ ^: g- L' t$ M1 Q
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2