爱吱声

标题: faster-whisper 更快的语音到文字的识别 ASR [打印本页]

作者: nanimarcus    时间: 2023-6-4 02:10
标题: faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
6 f9 B) v& K. J8 Z0 {# W' z9 Z: i8 T" Q% m: f
借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。
* O- a, j( W0 h9 j3 z效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。
7 _! x  F4 |4 F9 H: s1 x% D----------------------------------------: p$ h2 \5 W/ M6 i( `3 r
显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。) f; X- k% W$ d$ q
在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
1 q: l( z; P* L2 u----------------------------------------
# X& i2 U6 S3 _) e$ F% [" T4 e4 Fhttps://github.com/guillaumekln/faster-whisper
' ?; x! A8 k5 }$ F9 A( L安装如下:
9 u# l$ u3 {% y! k1, Windows 10
( ]  V0 W3 k3 G, {7 V2, Python 3.10.11* \6 Y; B( d$ x  E
3, CUDA 12.1' z+ r/ z' I) i9 G  a
4, 在python 3 中安装
1 k! ?7 f: a4 O* xpip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117! {* l5 V0 f6 R$ Z5 |! A3 Q! I
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。" f1 E9 }" V0 o/ V+ n
5,pip install -U openai-whisper" w# M; v1 S9 I$ u. v# y
这是向whisper 致敬,可以不装
, W3 |4 J  V# P) o& N  p( z6,pip install faster-whisper, a, w  C; {' A& G5 P
----------------------------------------
7 \) i- d! g/ y( t0 U& Ywhisper 我用的命令行,faster-whisper 我用的是python。9 V9 v. x7 n* d+ x$ x# t9 M
下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:( `% G" t  Z' H/ y/ ~/ H- n/ @

% _4 c7 {! J. y----------------------------------------6 @$ G: A# k7 U% a8 t

: F, G2 Q9 ~' C' g) b# nfrom faster_whisper import WhisperModel
( p9 \, I) Q" R- _0 _8 x+ d
. J+ E3 |* x% b+ v2 Q7 B# ^model_size = "small"
$ X, M' u% K1 k$ g. T
; V& v: U( R/ U3 Amodel = WhisperModel(model_size, device="cuda", compute_type="int8")
6 Z1 l0 w8 p9 ^' Q% I: f# K* ~1 x8 J6 z* j. R+ \3 b: j
segments, info = model.transcribe(
8 x8 J' N3 d9 }3 C, w5 A    sourceFileName,
& E* S9 B) Z" @/ [& P# s8 f    beam_size=5,
! p3 T3 b; a" ~5 c1 H4 @3 E  g    language="en", 7 s- }9 l% H) r. s, H3 I( Y
    task="transcribe", / R% R8 X: P1 A% E1 H" X
    word_timestamps=True,
+ ?1 H% U3 e0 E1 P    initial_prompt = "Hello, welcome to my lecture.")* T/ `+ \( j( r) `4 b

: V# W) I% D! @* T, ^2 Lfor segment in segments:
1 i1 I2 v* ?2 u# [9 Z; a5 n6 H& g    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
# r) r* F3 [$ f* a8 P' }& Z, X& M& ]% r) x) `7 r7 o
        for word in segment.words:7 @$ N6 f. E5 G, y' x7 [3 e" B, q
                6 Z0 G1 E, g4 K" ?% B& R
----------------------------------------
8 E. A3 v# Z5 N
4 U2 e0 N1 `( k# W2 e8 I8 J代码说明:
6 a, X* N" T2 _3 L& R1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。" R; ~/ r: I8 o4 ~
但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。
% y5 t% {- T" t7 Q2,segment 本身是很粗糙的,做字幕勉强能用。
5 S6 _& U4 W0 L, G) c6 @( F9 ?# v3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。
. t' z. J: ?. j4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中/ D1 R% x- `  r0 a+ V
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
4 x4 l4 u. \" o5,model.transcribe 中参数说明:2 G4 P  d8 }" q# m& q9 f
你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数
  C0 I$ m" ^, ~' Y其中
8 P8 [4 F8 D" i    word_timestamps=True,
: Z6 N" ^4 ?! ~4 K. Y保证了你能拿到 word,否则是拿不到的, R) g- z; S; y/ I8 N1 T% z
    initial_prompt = "Hello, welcome to my lecture.")7 i4 h8 \+ l: y. ?& c
保证能尽可能准确的断句 punctuation,但是不是决定性的。; {, B% E' A0 N' O. z
其他参数可参考源文件:
. z$ ~7 j) j$ l  ^& _) Chttps://github.com/guillaumekln/ ... isper/transcribe.py
* l1 u2 V. F7 x6 n/ }152 def transcribe(( [0 _0 K6 S$ o9 Q
从源文件你可以看到是支持中文的句号断句的。2 r4 A5 k1 h( I" t

) T9 H/ d. O% @, C6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。
+ {0 i' {7 P4 E' B7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。  o* {1 l2 R/ j: {8 ]
8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。) H3 D; o3 E- I) k9 S
' K9 u, O! M# a7 W/ m" |

$ J. R& r' z4 K  y$ P
4 J+ d/ `' m3 k1 i4 w% J
作者: nanimarcus    时间: 2023-6-4 11:53
多谢各位榜爷打赏。




欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2