爱吱声

标题: faster-whisper 更快的语音到文字的识别 ASR [打印本页]

作者: nanimarcus    时间: 2023-6-4 02:10
标题: faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑 ; ?7 D1 o6 N7 {0 O" L( i4 w3 M" z
# o2 w. \) I$ W7 D) R$ a  z: O
借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。- g5 m$ g- O4 a% p/ I
效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。
0 |. q. e1 k0 d----------------------------------------7 B* P3 C7 I6 D" @
显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。8 _" [( {6 ^# D0 F! I
在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
' g- e# l  I( C& M----------------------------------------' s2 m3 X; E6 o) a
https://github.com/guillaumekln/faster-whisper! [/ v9 R" ~7 R9 L
安装如下:
: h! h2 ~6 Y# @6 X( _1, Windows 10
# c& i+ b* G' `( L. j3 w* v2, Python 3.10.11% h2 n8 f+ N/ N8 ]  D
3, CUDA 12.1
9 ]" L$ G7 z) a1 T# O4, 在python 3 中安装
) U5 k/ d2 a9 v  W/ z4 Lpip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu1178 M; Y% [; H6 e4 d2 l* J
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。
8 v& W6 `$ _. {' R, T5,pip install -U openai-whisper
& T; C6 o/ |. O& {0 t& X3 @" z这是向whisper 致敬,可以不装2 t7 h$ [4 K  n4 w$ a0 p
6,pip install faster-whisper
3 o2 H; A$ @/ y# n9 h. D4 q----------------------------------------* \3 u1 F- t/ c# g4 q: d
whisper 我用的命令行,faster-whisper 我用的是python。' S% r3 ]7 A. ?8 m4 U
下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:
. F* O5 e+ b) O/ v$ `3 {  g9 ~& Q% l0 M) u; x. X+ b( h
----------------------------------------, z: y  P  e& `( |

0 \; o7 Q6 v8 v$ `- dfrom faster_whisper import WhisperModel5 e( C1 ~6 I! I8 X
$ B) G: E3 Y# `% x( N2 G6 u& N1 s
model_size = "small"
/ J2 u, L7 E1 o! y
) ~! N& r7 z# O! Z7 n3 I7 F0 xmodel = WhisperModel(model_size, device="cuda", compute_type="int8")
$ y  D$ R, ^" D. E" K( c6 C  s4 m+ A0 G4 ?* w
segments, info = model.transcribe(& u8 W* b8 m4 A4 ^: ?4 i
    sourceFileName,
+ y/ U- w. b" G/ E  A7 n4 s    beam_size=5, 9 i- e! R( V+ k% h  C3 j5 h7 j% Z
    language="en",
: A/ Q$ I0 U0 Y6 j+ J6 L& R1 D    task="transcribe", 9 F# N$ O8 G; k  O
    word_timestamps=True, $ m4 }  U9 H& d5 ]3 c* B0 u
    initial_prompt = "Hello, welcome to my lecture.")+ u" j- H/ N+ d- i1 Z: N

. n% k9 r8 n/ z2 P( {: x8 Tfor segment in segments:
6 h9 ^+ T% m+ J( v) e    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
0 Y, x3 |( ]3 w; M- e. p+ W
+ n1 F' z- C8 D% q5 k. N        for word in segment.words:; W0 K, C7 _* y9 z6 S; h' G2 q) s
                % a3 E2 F1 ~: @) `6 v0 z
----------------------------------------
* Z# C/ x+ W) }/ e  I" A6 L. o+ {+ [2 P3 a9 t; v3 |% o/ h
代码说明:
9 X, `" h0 T  w& h9 C1 S% D1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。
9 u5 _' F, |% Q1 l7 m但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。9 l# M4 ^( i+ Q' I1 y/ B: V
2,segment 本身是很粗糙的,做字幕勉强能用。3 V: h% i2 I4 l9 W% @3 {
3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。& I' S" D$ ]! @$ ^6 I$ `
4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中
4 P' P1 }" D/ z- ?3 z2 E* S比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
  j0 o& p* r/ r$ l4 V5,model.transcribe 中参数说明:3 D! K$ T  |. h9 F4 z# p, M
你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数6 C* p6 |* F8 }8 ^: y# Y1 ^
其中7 y/ i. c; F2 q# d1 h7 u) D
    word_timestamps=True, ( B% ~0 x8 u' J6 ]% \. p
保证了你能拿到 word,否则是拿不到的- j% R( B* n* V; u% O3 }- d0 u
    initial_prompt = "Hello, welcome to my lecture.")
6 w% ]0 h0 ?# J保证能尽可能准确的断句 punctuation,但是不是决定性的。
8 B; o0 s2 }, v其他参数可参考源文件:
4 z# i) c$ ?. c! ahttps://github.com/guillaumekln/ ... isper/transcribe.py
' j5 U% d* p* f/ @% P; I152 def transcribe(" ]( F  j' x2 V! m
从源文件你可以看到是支持中文的句号断句的。, k7 I% h, K! ]' @6 \6 Y
% w; L8 f! l1 c( P) T
6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。6 E8 @: x# Q1 z& R, g' W) v
7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。
* D- J7 L) t/ n, h: [; s8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。
; u0 T" U' @, }% y# v# A$ @
6 E! o3 l! B* }5 y; `
& m0 J& C* d( p$ ~" ?/ V- A+ }- G6 f
2 c( Q& b- t7 ^4 G
作者: nanimarcus    时间: 2023-6-4 11:53
多谢各位榜爷打赏。




欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2