爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
/ {3 F4 h+ r4 a M
9 @9 ]% o0 e8 B, [# d. q1 q
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
5 m& p& F8 D& {: a! m
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
+ A' q5 F p9 ]
----------------------------------------
" y2 z6 j+ n) G s9 G6 O
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 G0 M6 U7 Z" s8 Z# b0 }
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
+ [8 D+ D3 Y: O& u; K" ~: S! B
----------------------------------------
' z |& `- c1 ?# j
https://github.com/guillaumekln/faster-whisper
& j: o3 U) T( [, _
安装如下：
& Y, {% q# w1 c" }
1, Windows 10
6 Y( N# I9 `, g2 `$ q7 l* w9 j8 x0 B
2, Python 3.10.11
! \' F2 i8 Z9 ~, W! q
3, CUDA 12.1
, B4 W) U* _- M0 r1 x2 Y5 d
4, 在python 3 中安装
( q1 u; M: W+ m& Q5 u
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
. B1 L) ]1 J6 s' @# D
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
1 Y/ P- ~6 Z9 f5 P6 h
5，pip install -U openai-whisper
" u3 Z* [/ S5 {7 j( C1 A
这是向whisper 致敬，可以不装
6 \ P2 k7 T$ O% t1 y1 R4 v
6，pip install faster-whisper
8 L& F, H; A! m# _. s; p
----------------------------------------
% w+ }; R6 A- [+ m
whisper 我用的命令行，faster-whisper 我用的是python。
Z! @: N* y, k! l3 O
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
" U! o/ b1 H4 V7 n
+ X! t$ u3 B6 \ C! E4 ~+ S* w
----------------------------------------
8 G) L, Y: E! ^4 Y
6 w- p" y, L1 P; C, U% U$ s
from faster_whisper import WhisperModel
) e' ]3 s5 n/ x# t% W! o, d
+ }# L, E; ^. t3 m3 _9 H% _
model_size = "small"
5 f) f! u/ ?/ R) w3 j
5 T" `; |/ ?. K' ~
model = WhisperModel(model_size, device="cuda", compute_type="int8")
$ t* P, H, L9 Y- M( y/ L R+ R
- Y( s, ~1 V5 K3 Y6 m9 x- }
segments, info = model.transcribe(
& F" M6 M: U0 h9 d
sourceFileName,
# T9 c# E0 M+ e6 s' O& _
beam_size=5,
+ D& U, s8 e' U
language="en",
" N# G# t$ J' L) o+ G
task="transcribe",
9 P C3 l1 q1 M. ^7 ~7 ]
word_timestamps=True,
% V8 W9 B/ o1 C
initial_prompt = "Hello, welcome to my lecture.")
% I) @, \; F- X3 d% l, G% Z
* W) a. c9 J" X: c1 l; o% K/ B. H( ?
for segment in segments:
; f; H$ w$ d9 v# u: j
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
2 n7 [# G% Z2 d8 I) C; y$ E
: w4 Y ?4 q- P6 G( P! c/ w( o
for word in segment.words:
+ `, d$ I* X4 C! L8 o/ v7 }
; ^ P; ~/ z6 y7 J6 h9 U, _" B v
----------------------------------------
, M$ |" z. {" [, v# V( o7 w2 w- L
* V/ W6 i/ Z7 ~, w9 q5 z
代码说明：
3 ?. X* L( m) A+ e8 B
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
5 {; E4 A, v- _& t$ p( S
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
E' R( ?7 k9 o8 |# v8 L
2，segment 本身是很粗糙的，做字幕勉强能用。
# C& k5 h& o. Z) O6 }9 @% }
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
. G# V0 X7 x: J4 {; W8 v5 S
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
9 E! |" p4 a5 k' b7 ?
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
6 J& A9 b! M5 a' e Q( x( s% r
5，model.transcribe 中参数说明：
" d3 d+ t, D) |. R, L2 R
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
) \2 Z4 Z5 Y7 u' y. n# t. [5 P
其中
& H) V6 |9 J6 m* b# D4 V4 o# ^
word_timestamps=True,
- X A. g2 t5 f9 b2 k/ ]
保证了你能拿到 word，否则是拿不到的
0 R3 F5 n7 `1 i0 M* @
initial_prompt = "Hello, welcome to my lecture.")
7 b% z. s5 N( ^
保证能尽可能准确的断句 punctuation，但是不是决定性的。
" q! \' E7 g$ `! K, T/ d
其他参数可参考源文件：
1 n y- T" l$ V/ V; T
https://github.com/guillaumekln/ ... isper/transcribe.py
# T2 g. a' A* W* Z
152 def transcribe(
h; o/ Z7 T! l d
从源文件你可以看到是支持中文的句号断句的。
7 R+ M @) P! A
- ?. V4 A& M, B& F* z' l% V
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
# h9 | q1 z: s1 u# K
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
' v: F( l2 G7 [
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
x* I5 ]' [8 h
# S% ~! B2 z9 o
+ |2 @) D& z1 H) t! w" {
4 `& t% i( \% e' i7 {; x
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2