找回密码
 立即注册
查看: 19|回复: 1

开箱即用的本地AI字幕抠字和打轴大概不远了

  • TA的每日心情
    无聊
    2023-2-25 23:06
  • 签到天数: 1 天

    [LV.1]初来乍到

    2

    主题

    26

    回帖

    133

    VC币

    中级会员

    Rank: 3Rank: 3

    积分
    2334
    darkangel0224 发表于 昨天 23:57 | 显示全部楼层 |阅读模式
    今天试了试Subtitle Edit 5.10的beta 13测试版,发现本地AI功能强化了不少


    ORC识别不仅可以是DVD / BD的图形字幕,也可以是视频硬字幕。之前有坛友推荐过(https://bbs.acgrip.com/forum.php?mod=viewthread&tid=13284),实际试了一下Tesseract 5.5的效果挺一般的。720P的清晰PGS图形字还好,像DVD常用的那些就很不行了(也许西文字幕还行,亚洲文字完全认不对)

    新加的飞浆Paddle和GLM-OCR模型,效果提升了不少。不过和所有模型一样,需要指定语言。效果最好,不用复杂配置的,还是联网的Google Lens,但是保不齐谷歌哪天就把路封了

    打轴这块目前还是调用Whisper搞语音转文字。虽然CP可以U干活,但是效率低得夸张,最好还是有一块30或者40系的Nvidia显卡。因为Whisper系列已经一段时间没动静了,新出的50系会有点兼容性问题。Whisper CPP能听出的内容更多,但是时间打不准(Whisper通病);Purfview-Faster-Whisper-XXL字幕轴核对的准确点,不过会漏内容。模型上还是Large V2比较好用。Qwen3 0.6b试了试日文,效果很不行;1.7b太难跑了,也就没试了

    当然,要提高识别率,需要像AI翻唱一样,提前预处理音频,把人声从音频里分离出来。这一步可以靠Audacity + OpenVino简单达成,或者学习去用Ultimate Vocal Remover。分节断字也是个问题,有时候会整合出很长一段字

    如果是有文本和音频,想做Forced Aligned,目前还不行。Qwen3 cli可以命令行单独用,但是效果完全不行。或许montreal-forced-aligner这些可以,但是要自己单独搭环境,挺麻烦的。不知道未来会不会整合


    字幕识别.JPG
    字幕识别2.JPG
    字幕识别4.JPG
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    2023-2-25 23:06
  • 签到天数: 1 天

    [LV.1]初来乍到

    2

    主题

    26

    回帖

    133

    VC币

    中级会员

    Rank: 3Rank: 3

    积分
    2334
    darkangel0224  楼主| 发表于 1 小时前 | 显示全部楼层
    当然也有人早早用AI整活的,比如这种用通用大模型对话的工作流,门槛还是有的

    https://www.bilibili.com/video/BV1tFhCzcEUA/
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    快速回复 返回顶部 返回列表