爱吱声

标题: faster-whisper 更快的语音到文字的识别 ASR [打印本页]
作者: nanimarcus    时间: 2023-6-4 02:10
标题: faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
! S+ O9 u  u2 c# G1 u3 O8 C3 v+ ^
# C. F* k! O- Y) \* N借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
, M+ A/ V0 O8 K* r) b2 W3 d2 o效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。! H! m! I( u2 C. A
----------------------------------------
/ r# j% x( g  i: [: c显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
9 b' l  ], {/ @在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。7 z1 M( P# g7 c, E0 P: E
----------------------------------------4 R- E: |' ^' s4 G5 _. r, |
https://github.com/guillaumekln/faster-whisper4 v( r+ s4 y# J/ [: [( e- F9 |
安装如下：" b1 o- R$ B' [8 r5 q4 u& V3 c
1, Windows 10  b+ d/ C* E5 q. \
2, Python 3.10.11+ J4 G: x" }1 f$ D+ H1 ^4 A* g
3, CUDA 12.1
" J) b8 W6 v% b  P* d$ Z) p4, 在python 3 中安装
) o$ z+ q% R4 [, e5 c$ mpip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
5 V% e; ^: j; B$ y1 a) u这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
) |# w+ N" h# b' e1 n8 f5，pip install -U openai-whisper8 k8 U  z3 V! S/ f
这是向whisper 致敬，可以不装$ d5 Y( r+ h3 l8 U! i6 x4 k1 a  K, G
6，pip install faster-whisper8 [$ c- P# f- `/ ]3 q
----------------------------------------6 x0 o8 y7 P3 K: b8 \! [% K
whisper 我用的命令行，faster-whisper 我用的是python。
# T/ `# M$ w/ c4 w: x$ O下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
2 \4 N) ^* Q( N8 ^% S  l" w( k8 k
----------------------------------------, E! ^! E2 ?6 ~! ?

% D( w  ~) a0 _0 w& hfrom faster_whisper import WhisperModel
3 o" l( T+ d5 O" q$ O- v( Z9 D# S
, s9 e7 T- U$ @# hmodel_size = "small"
1 N  s; q: U  ^/ u2 d5 e/ t' y# T# z
; ~  A! e' R* d: o" E8 Q7 ymodel = WhisperModel(model_size, device="cuda", compute_type="int8")' r; [& ~/ E2 e5 }
, e+ s/ I2 k* h5 q( w
segments, info = model.transcribe(
, E$ i% c! q) w6 u    sourceFileName, / A: n1 R& ^' {" d3 ]
    beam_size=5,
( f9 @. T8 y8 t% v( f    language="en",
: Y5 P# j# [$ C3 [& {. B    task="transcribe", : z0 A; W  w( P
    word_timestamps=True, 2 l+ l7 W  p! v" n: [4 o; n, Q3 C
    initial_prompt = "Hello, welcome to my lecture.")
/ P) H7 w3 \- Q+ W( ~+ i" u- z
( q, M' {8 p# O' M  m; V7 Qfor segment in segments:
4 V. L* [7 j- \0 u) l, A    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text)), Y  v( G2 q8 t" B' @' I

# w1 }! T- L) M# J2 n. I$ y        for word in segment.words:
4 \  r2 t8 H' d8 k1 o' ?. t               
( n" b. F' e# v9 H" J# }0 x- |----------------------------------------5 ~5 b. ^; P, v8 O
2 t6 U( }* l& Y; F
代码说明：
* I; L6 c4 e. ]) P: k: |1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
" W3 J$ x/ @/ P6 k3 _8 b但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。' j$ u7 A. ~# o. z" W% D( \
2，segment 本身是很粗糙的，做字幕勉强能用。
" w/ C/ P  c  V( m6 O( |: L3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。1 D. v* b" q2 {
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
4 b1 Z) o& I) r/ ~比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。; c6 g! t' s7 A# ]( L* F
5，model.transcribe 中参数说明：5 L' |  O. B, |8 O4 x. Q2 Y
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数& S1 p! z9 V( o8 w0 y8 e
其中4 [& o; m3 Z7 T+ y8 y; d; ]
    word_timestamps=True,
* m, Q: m( f! H8 G' `) v) r. N. k" D保证了你能拿到 word，否则是拿不到的
$ \( m5 k2 W2 ?! g  ~    initial_prompt = "Hello, welcome to my lecture.")
" Y* k# Z( o) F9 q2 Y保证能尽可能准确的断句 punctuation，但是不是决定性的。8 ^5 K' L0 h* I) O9 e: i
其他参数可参考源文件：
& c' |& E( V- d' X: U% A7 Xhttps://github.com/guillaumekln/ ... isper/transcribe.py, X! f& G2 W$ O9 G( Q
152 def transcribe(
% p/ U7 @" M( M# V从源文件你可以看到是支持中文的句号断句的。
; X; ?' p* y& J6 t5 p" F$ Q: @, }$ B! H  n0 r" {5 t
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
  e3 P5 {& B7 U% Q# o8 C7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
. L4 ?) {* s2 X) d9 D8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。! H- c2 t' y3 W. I4 T

7 _, y1 C% L  e( n+ z
1 T( a7 f3 }+ [' i% A: v; b
" \1 H8 }. a  ?8 j- O, r
作者: nanimarcus    时间: 2023-6-4 11:53
多谢各位榜爷打赏。



欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2