设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 4808|回复: 1
打印 上一主题 下一主题

[信息技术] faster-whisper 更快的语音到文字的识别 ASR

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2023-6-4 02:10:18 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑 " _$ t& A8 \1 s+ m; [3 K0 @

7 o& ?8 X8 M. \2 Q( b借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。# }- e" z" g8 Q/ E/ f
效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。8 V" G/ \( q4 g
----------------------------------------: J; O) |  I/ ]
显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。9 T* i8 E; M6 q7 I* {8 l# u- x
在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
# X# e' B  y' x2 v----------------------------------------5 _" W3 h  u9 k5 B5 ^; A; m
https://github.com/guillaumekln/faster-whisper
9 J5 r1 N# W, A安装如下:' C9 {8 d0 A  Y7 G: L' u3 }
1, Windows 10
4 J3 `, \( e0 D' P) r8 |2, Python 3.10.11
: X2 d0 e9 u, j! R! f; @, o9 l7 \0 A3, CUDA 12.1
9 T- l. @% y" `5 H; ^; C4, 在python 3 中安装
# z- ?5 Z8 o; Bpip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
) Q# C- M8 z+ D6 Q+ k4 N这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。. V2 U; k2 M# S& m8 k1 R( x
5,pip install -U openai-whisper
5 f/ s1 q) R5 }, _3 N( }这是向whisper 致敬,可以不装3 U1 S1 y  w+ S3 U
6,pip install faster-whisper
9 n, @3 |7 q5 ~----------------------------------------; w# K6 R! {7 k# Z* g. F  f- @
whisper 我用的命令行,faster-whisper 我用的是python。
* v9 n: ^0 K1 e9 g/ Z9 y# I下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:" F' |9 q* W% C1 x- y% n9 I* |
* x; K0 O. ]4 U3 [, \- e3 B" D
----------------------------------------  j9 V9 g; ?( z, V% a( l
: Y' J( @/ d& u% ?
from faster_whisper import WhisperModel2 W3 b' P8 P$ m" z2 Z; U8 M5 W+ `

) Z9 o: v: Y. r" J6 h6 c) O9 w! y% Lmodel_size = "small"4 [1 ~! z( i* \. r  m+ v  f1 |; p

! a$ F8 @- |, R: S# G6 ?model = WhisperModel(model_size, device="cuda", compute_type="int8")% d- H9 c  {8 S7 r: _# t  o8 r

5 D' ]8 C" g8 H+ S6 }% Fsegments, info = model.transcribe(
' q: ~" x8 @, Y    sourceFileName, 4 q' H+ U, l6 m
    beam_size=5, ) K: g% l8 s8 c; ?$ A. J2 p1 B
    language="en", ; h* s3 ~, d2 G6 T
    task="transcribe", $ y& v% @/ O4 P% S: t& t& m
    word_timestamps=True, - P6 ?2 y2 T) X) `6 B; M. o6 s0 B
    initial_prompt = "Hello, welcome to my lecture."). p9 i' ?8 U' V: g+ S% V/ S# ^

/ ]9 H+ V7 n5 t9 h$ z' E1 E$ zfor segment in segments:
4 v& E1 a* u- \- T1 |+ C: ~    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))! G# p: l3 H9 t& A4 U

9 P1 R7 S. p* n! a/ F8 J        for word in segment.words:, n) t9 ^, p  E9 ]) c, ~
                2 H5 r0 S, Z0 z0 r5 q+ F' l8 z
----------------------------------------
: }0 T0 P; P$ Q! c$ h- a1 K# {! B3 U; m. C! G
代码说明:6 t; E, x0 a# w- s
1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。
) w) g1 c7 u9 X' x7 B" j: O但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。* `. x! k" F: o5 p, P. {7 y
2,segment 本身是很粗糙的,做字幕勉强能用。9 d9 A- S/ |! {7 a7 h
3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。: K/ m# p/ b2 q$ b6 X
4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中$ T! z1 M( A- v5 l$ {' Z& r$ ]
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
: T+ k; g, n3 E7 A. |6 U- s% ~5,model.transcribe 中参数说明:: e' s( b" B, L" O6 t
你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数
% m' I6 s3 T# }0 z+ f5 `8 E7 }其中+ p  c8 f; F1 B# k/ x" y$ Q
    word_timestamps=True,
+ i0 h$ H  @# s保证了你能拿到 word,否则是拿不到的
% ^7 Y" H  S, G/ q& N3 }. G, ^    initial_prompt = "Hello, welcome to my lecture.")! v7 x+ [  k8 x8 ?3 i. W% n
保证能尽可能准确的断句 punctuation,但是不是决定性的。
2 F+ A( r9 |, }' D* M" y. e" R& _其他参数可参考源文件:
9 j) [  H. a' B: J2 khttps://github.com/guillaumekln/ ... isper/transcribe.py2 B  {" K; P: i: P' d
152 def transcribe(
% x( ?! g1 F6 r3 B- x+ L. y5 k6 j从源文件你可以看到是支持中文的句号断句的。
$ M1 G; B) x, h! |+ s+ V
6 ]. }6 |. X0 S2 Y* F6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。, k3 R3 M+ Z8 E8 o( _
7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。9 H, p/ S# G& k2 D* C, M% T* S
8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。0 e8 s; p5 d6 O+ d. |; V

0 d0 i7 l+ d0 F& y" a- k- I3 Q , P7 B" ^# ?* {6 ^' D+ }8 o

& Z. A* e) T, }2 d. R& u

评分

参与人数 4爱元 +32 收起 理由
蓦然回首 + 8
唐家山 + 4
老票 + 12
老财迷 + 8

查看全部评分

该用户从未签到

沙发
 楼主| 发表于 2023-6-4 11:53:23 | 只看该作者
多谢各位榜爷打赏。
回复 支持 反对

使用道具 举报

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2025-9-19 07:13 , Processed in 0.036060 second(s), 18 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表