爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
3 p3 Y. w& G8 h. r. D
. J8 [5 B: H: H
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
1 k! ?2 L/ o* f" |1 d2 o8 d* I u
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
H" X' e/ ~! D, R0 _5 _& e
----------------------------------------
# l s+ a1 y( P: m O. ~
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
$ |( q0 o7 ^) [6 y1 T' @1 Q4 ]
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
7 |6 v2 [! G; Q; }
----------------------------------------
4 k: S9 h2 M Y2 b
https://github.com/guillaumekln/faster-whisper
$ H8 h# q" {6 _: Y7 d9 I
安装如下：
9 `! W( M g" P" E6 n7 k
1, Windows 10
1 [0 q9 v2 {* }1 z4 }$ Y5 H
2, Python 3.10.11
: y3 c' H7 \/ K2 }$ C- P- X1 v
3, CUDA 12.1
8 W6 B% G) m. r8 S9 _
4, 在python 3 中安装
2 Z4 `/ Z$ r: l Q: |
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
$ `( `. Q% Y. n' | |6 L4 U/ H- C/ L2 k
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
y& v( z* q% U" q. x; O/ n$ O, U/ a
5，pip install -U openai-whisper
4 N/ W9 V2 x# h* I/ |
这是向whisper 致敬，可以不装
8 @' C- u3 [% f% k6 z( n
6，pip install faster-whisper
7 a: H* a* S8 j6 K8 l5 }
----------------------------------------
1 n* l' w- M6 ~, w, v7 Y
whisper 我用的命令行，faster-whisper 我用的是python。
) t5 N: W0 F( e9 A- O
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
; v0 v; F2 P0 ]/ q2 i
4 \4 ?' n" @( j
----------------------------------------
1 q! L2 C+ B g
v' V+ W: F( n; A2 s5 p: x
from faster_whisper import WhisperModel
" [% _. w9 n* e9 u$ O4 v
; h# C( J& d8 X$ @& c
model_size = "small"
" ] V. G2 u/ P
/ a" c! a- V) y1 o
model = WhisperModel(model_size, device="cuda", compute_type="int8")
# B8 g' Y1 l; f% e* o+ J
0 u9 M) w* R2 ?$ q) ]9 L3 g
segments, info = model.transcribe(
; Z, W: S. x0 \
sourceFileName,
; U5 n& d# z' A
beam_size=5,
! A# r4 y0 j0 a4 m
language="en",
; g* W: E7 H# ~7 ~* \
task="transcribe",
6 l: |& @2 D1 z: B& b" V% ]$ R5 S
word_timestamps=True,
4 A( j$ B# L" V! P: h5 f2 f
initial_prompt = "Hello, welcome to my lecture.")
4 R, ^/ S" I& C" {" o$ V1 A8 f! {
+ w" t- J! f C4 ~9 C$ ?
for segment in segments:
& J& N" d3 `$ S4 v9 E
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
# ?, z- D m) u3 S0 g5 M; F; U
, f* n: L' j) g$ d3 @2 L2 k
for word in segment.words:
! @3 G8 |) i* L) l' {. q4 m0 A- a
& l5 P0 z. Q6 f7 ?1 ]2 P
----------------------------------------
5 f7 D4 m5 m8 Y+ I! _
3 d/ c. m `0 k1 ~ j2 |
代码说明：
& Y% P: _4 V8 r K+ I5 n& a6 o
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
b( B+ C3 F1 Y
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
& k* o, d0 l& u5 I- P" X
2，segment 本身是很粗糙的，做字幕勉强能用。
8 ?1 B4 d' P& ?# `
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
/ o8 N, ?5 x w% B. D+ D
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
6 @. H) p; i8 b
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
& Z- u& U/ E# L. P# C. {% D
5，model.transcribe 中参数说明：
4 S6 L. I3 M: K* d6 j8 c
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
" ?0 ^2 D; g$ w; R/ {- S6 [
其中
* v' M5 ?* J% K' c P* H2 c
word_timestamps=True,
* h. b- h9 {+ ~/ z3 `4 b. H
保证了你能拿到 word，否则是拿不到的
8 e6 H2 S# a, `# H8 O% }$ A
initial_prompt = "Hello, welcome to my lecture.")
! \( H# n" Z& Q
保证能尽可能准确的断句 punctuation，但是不是决定性的。
" M( q8 X b# j5 _6 f, B
其他参数可参考源文件：
p. l+ @9 v* n( k( J* r
https://github.com/guillaumekln/ ... isper/transcribe.py
% M6 A* {/ X% Z- w* t7 g* s# Z! D
152 def transcribe(
7 J7 L$ N+ j: b8 R1 L
从源文件你可以看到是支持中文的句号断句的。
: I* t0 e. C4 [3 @; S
$ k" \3 J6 u ^( m
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
/ Q$ K+ W2 f8 }* T( y& w" t
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
% }7 }, {7 U2 A1 Y
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
# S9 @/ W4 L" Y5 e- U: y: g
Q q. C+ q. g1 U6 S0 K8 c. C
3 q7 F' L0 y: n L' I
: c% ~0 q$ p+ L! t8 D2 ]3 \
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2