爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
- V+ G6 O2 M3 A6 g# @
0 B! b t. ?1 d, a$ I
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
" w; f; _/ c7 Z4 ]) e W+ @, h& h
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
& n* ?7 ^( @6 m; A+ m8 q4 x
----------------------------------------
/ I* K, [- U5 t" ~% l7 x( a
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
& {5 M, e" ]+ S# v) S. w+ f* n
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
8 o) W0 L, g. d
----------------------------------------
% U5 |) R& W- m2 V) d8 p/ i7 g
https://github.com/guillaumekln/faster-whisper
1 _1 e9 R' k7 ?: B# G
安装如下：
9 V8 O t, H( E8 n5 p, J% B% C
1, Windows 10
7 j' U$ [" j# {6 k
2, Python 3.10.11
- ]. X0 l, v1 }0 E* {4 s
3, CUDA 12.1
: {: `$ e( \, \1 w+ Y h' p$ m
4, 在python 3 中安装
- D0 v& `2 B( _& v
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
8 D$ j- F8 F+ p c" U. [% v
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
) f; R* }& U3 [9 u: w* S! u
5，pip install -U openai-whisper
, k* h; {) q" ^
这是向whisper 致敬，可以不装
; i5 W: X, @# s8 G% Z2 l T# H
6，pip install faster-whisper
3 j- P. K* u q) I6 J
----------------------------------------
- K/ A6 c/ h4 N( t
whisper 我用的命令行，faster-whisper 我用的是python。
' \& q9 M: ?/ |# b6 d, h
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
0 b, Y. u2 o. f. [* f
+ I B) G# `4 {
----------------------------------------
1 i- T2 p/ u2 |$ |; t, o/ F$ s! |2 F
( C8 m& h: j% g/ F2 [0 S
from faster_whisper import WhisperModel
. v/ A1 |, X; @7 z# s
8 ~6 K% l* w" q8 \ y" P
model_size = "small"
& B8 u! D. p3 ~6 j/ j
3 u) ]$ g5 s- Z7 u$ v* c! E# q: ^
model = WhisperModel(model_size, device="cuda", compute_type="int8")
3 F' E* B8 _& q
$ q$ J9 C0 G) m0 L% y+ Y( X
segments, info = model.transcribe(
5 P F) W& U" `2 F: q7 {
sourceFileName,
) q8 k( o+ u! \& {
beam_size=5,
0 q' ~) `$ x7 W* K; [
language="en",
/ n7 j$ W6 Y5 H& [* V9 y
task="transcribe",
3 z( B9 e: t& }( |2 V9 w3 a
word_timestamps=True,
1 ^; m Q/ F( ? m
initial_prompt = "Hello, welcome to my lecture.")
& G# b5 J. m9 v4 z
7 S" r* H$ K$ y8 ?# Z1 X( ^
for segment in segments:
6 w: E; [$ ]0 d2 Q$ r4 s8 N
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
) Y" E' Y2 O# `$ o: |
% {% k4 k4 @" i: q
for word in segment.words:
- }! r) ~. T, W3 \, A7 @
5 F/ |. n) ~0 e4 x2 Y( H
----------------------------------------
5 L+ W& R3 t+ F0 x+ `3 [
( v- @4 y. x* }: {
代码说明：
; }: d+ r ]. i+ ?
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
4 |' ?1 i0 @( k7 N
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
# Y" H3 e( }. r& k
2，segment 本身是很粗糙的，做字幕勉强能用。
$ h, ]3 S- d: `
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
3 f* U: M5 q+ s2 Y9 u
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
" q4 C3 ], ?% i0 C* M! i; x
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
& e& [! Y4 g' K6 m: r) `
5，model.transcribe 中参数说明：
8 Q" j3 v$ }1 r0 N# k
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
- }1 ~9 H) X! f/ T* B
其中
7 s3 V" d3 _3 E& B3 ?. b$ b$ Q
word_timestamps=True,
8 i! W3 y- R, Q- ?3 L$ I3 ^
保证了你能拿到 word，否则是拿不到的
, w2 y+ o w" t3 h, P1 E8 t1 `; E
initial_prompt = "Hello, welcome to my lecture.")
, {$ q1 c0 l8 P9 @' V- T" x7 G9 G
保证能尽可能准确的断句 punctuation，但是不是决定性的。
+ j4 r5 @' G, g$ W" w$ C
其他参数可参考源文件：
9 ]1 | |5 g! \/ ]+ A
https://github.com/guillaumekln/ ... isper/transcribe.py
# w( S U7 j' p1 j7 r7 F3 I
152 def transcribe(
( n( X& d, B- \% n( p! _
从源文件你可以看到是支持中文的句号断句的。
: z$ }* r1 z5 K# c
9 I X; Q% o) P6 [1 d
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
/ H" a' G% B" ]% a2 I
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
# n4 T$ l" F2 C7 T+ A! f' b
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
( d5 a$ V, l3 m' R
# W1 T7 X! V- X; j1 s! M
: Y5 X: z" X4 f# I6 P
$ Z% @% H, W' g' C
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2