爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
/ ?( |8 c3 e3 ], {
% ]$ z( ?6 C3 |- K
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
8 x, J- z6 Q" E- N# D5 U5 ]/ Q
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
% h- _7 h, [: W
----------------------------------------
' E3 H% j- T" U/ U& V9 W8 J8 f9 t
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
- d) E" `! ~6 u; ?; V0 ?4 | {6 M
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
. h* G9 G" D4 A% B$ H& T
----------------------------------------
: B! L( R1 M& o
https://github.com/guillaumekln/faster-whisper
{* q" l; E7 C6 S5 q8 c1 G2 t9 l
安装如下：
K" f" q; H% f3 `2 y Y
1, Windows 10
4 M# O1 g: l* k- f
2, Python 3.10.11
" z# k5 G2 t; G3 x5 T: o3 O
3, CUDA 12.1
- S/ @) Q8 a6 K/ [- S
4, 在python 3 中安装
+ {) C7 W O6 `: x) a9 c2 K
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
: s( z( [# i; |- l% x F5 S
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
$ ]7 ]9 J; e& T( a0 c9 r
5，pip install -U openai-whisper
# Z5 f! a" E3 M
这是向whisper 致敬，可以不装
8 T: U; |! V" F3 k% U% Q
6，pip install faster-whisper
5 N! [& r* U6 i+ W1 _
----------------------------------------
- C: h( `) n8 n! d5 l
whisper 我用的命令行，faster-whisper 我用的是python。
$ K9 l; ~) E" ]1 o9 |
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
" Y" H$ w7 H5 `' n# o; x
; I1 `/ w: Q- z: J8 f
----------------------------------------
% X( E% p& M9 X9 B9 F1 t$ L
% G4 n' c1 P3 J, n* [9 n9 M$ h
from faster_whisper import WhisperModel
! l$ }5 B, B! }1 i; I
- I1 X7 f9 S% F# f1 o! q N
model_size = "small"
) ~3 G. t J% @. R7 \- ^
# Z& e; `1 o/ N/ v1 ]
model = WhisperModel(model_size, device="cuda", compute_type="int8")
& \, M& T! e% ?
) B% Q2 t: \& m
segments, info = model.transcribe(
/ K0 n7 Z$ ^9 k& i
sourceFileName,
% j/ R$ q( ]0 l9 y7 j6 L) I% l
beam_size=5,
/ B9 a, I6 j9 v1 {: S7 q
language="en",
7 {4 T' ^* }( R$ V
task="transcribe",
! @! c9 ]) [' v* T; c, X
word_timestamps=True,
1 W M* N2 `) H: Y& b0 {
initial_prompt = "Hello, welcome to my lecture.")
. Y5 G+ {- [/ @. J4 H0 C" X: t
4 _& s. B3 \' ^% |. d
for segment in segments:
* v' P; j) e* ^9 ~" U! Q
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
: V b0 W! @, t- E) e; m W8 \5 e3 `
4 s3 ]0 i" v/ v
for word in segment.words:
$ ~8 ^+ L$ G+ s O6 }0 ? g
_$ B/ f4 Y/ m
----------------------------------------
1 G+ e1 v2 [. A5 ^2 Q" l
- j. Q0 S" P$ E; K( v$ O- W' G
代码说明：
$ @: Z( T# h- s4 m! `
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
+ |' V4 P0 P- ]. ?7 Y
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
9 v. {$ a- ^$ B2 c$ s6 [( z
2，segment 本身是很粗糙的，做字幕勉强能用。
! @; J6 o9 v3 _. k" ~! ?5 r% M/ }5 r# D
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
; {3 l2 a! G0 U' |3 d
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
! p" S; q- ~6 t- g7 X6 f. x, `" {
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
) S- A( {4 ^4 {% M# H3 K! E" | j6 b
5，model.transcribe 中参数说明：
/ r- c* }+ z# L' C
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
+ n# B( K# K& s U- X
其中
% ?" S% c" ]/ C1 @9 o6 J) J
word_timestamps=True,
) B: ]# e8 I# _# t* _
保证了你能拿到 word，否则是拿不到的
9 C {) e2 q! k) \6 q
initial_prompt = "Hello, welcome to my lecture.")
! j2 ?" ^7 J( v; c! i( ?3 o7 ^
保证能尽可能准确的断句 punctuation，但是不是决定性的。
- Z, m; ?: z% n
其他参数可参考源文件：
) L- g. J2 f+ Z* @! t/ S m0 C8 V ]5 V
https://github.com/guillaumekln/ ... isper/transcribe.py
0 N" @! t" D/ {/ m4 m B' J
152 def transcribe(
$ S: V( M( r1 m; d2 S1 s
从源文件你可以看到是支持中文的句号断句的。
: W9 h2 }. n9 m, n# {
7 y" C4 w5 Z8 v. w, Y
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
`) h$ \- X3 C9 Z) V
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
; x8 u; Y' a$ `% N
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
^+ v0 q9 p+ S0 n1 \
' }! [$ y: c1 F5 W) Z
) l* b# S2 R0 W4 e6 {0 Q6 U
P+ \9 p; G0 ~: Z
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2