TA的每日心情 | 无聊 2023-2-25 23:06 |
|---|
签到天数: 1 天 [LV.1]初来乍到
中级会员
 
- 积分
- 2334
|
今天试了试Subtitle Edit 5.10的beta 13测试版,发现本地AI功能强化了不少
ORC识别不仅可以是DVD / BD的图形字幕,也可以是视频硬字幕。之前有坛友推荐过(https://bbs.acgrip.com/forum.php?mod=viewthread&tid=13284),实际试了一下Tesseract 5.5的效果挺一般的。720P的清晰PGS图形字还好,像DVD常用的那些就很不行了(也许西文字幕还行,亚洲文字完全认不对)
新加的飞浆Paddle和GLM-OCR模型,效果提升了不少。不过和所有模型一样,需要指定语言。效果最好,不用复杂配置的,还是联网的Google Lens,但是保不齐谷歌哪天就把路封了
打轴这块目前还是调用Whisper搞语音转文字。虽然CP可以U干活,但是效率低得夸张,最好还是有一块30或者40系的Nvidia显卡。因为Whisper系列已经一段时间没动静了,新出的50系会有点兼容性问题。Whisper CPP能听出的内容更多,但是时间打不准(Whisper通病);Purfview-Faster-Whisper-XXL字幕轴核对的准确点,不过会漏内容。模型上还是Large V2比较好用。Qwen3 0.6b试了试日文,效果很不行;1.7b太难跑了,也就没试了
当然,要提高识别率,需要像AI翻唱一样,提前预处理音频,把人声从音频里分离出来。这一步可以靠Audacity + OpenVino简单达成,或者学习去用Ultimate Vocal Remover。分节断字也是个问题,有时候会整合出很长一段字
如果是有文本和音频,想做Forced Aligned,目前还不行。Qwen3 cli可以命令行单独用,但是效果完全不行。或许montreal-forced-aligner这些可以,但是要自己单独搭环境,挺麻烦的。不知道未来会不会整合
|
|