当前位置: 首页 > news >正文

【工具】视频翻译、配音、语音克隆于一体的一站式视频多语言转换工具~

Krillin AI 是全能型音视频本地化与增强解决工具。这款简约而强大的工具,集音视频翻译、配音语音克隆于一身,支持横竖屏格式输出,确保在所有主流平台(哔哩哔哩,小红书,抖音,视频号,快手,YouTube,TikTok等)都能完美呈现,通过端到端的工作流程,Krillin AI 仅需点击几次,就能将原始素材转化为精美即用的跨平台内容。

功能

🎯 一键启动:无需复杂的环境配置,自动安装依赖,立即投入使用

📥 视频获取:支持yt-dlp下载或本地文件上传

📜 精准识别:基于Whisper的高准确度语音识别

🧠 智能分段:使用LLM进行字幕分段和对齐

🔄 术语替换:一键替换专业领域词汇

🌍 专业翻译:基于LLM,段落级翻译保持语义连贯性

🎙️ 配音克隆:提供CosyVoice精选音色或自定义音色克隆

🎬 视频合成:自动处理横竖版视频和字幕排版

效果

下图为40多分钟的本地视频导入,一键执行后生成的字幕文件入轨后的效果,没有任何手动调整。无缺失、重叠,断句自然,翻译质量也非常高。 

字幕翻译

语言

输入语言支持:中文,英文,日语,德语,土耳其语(持续增加中)

翻译语言支持:英文,中文,俄语,西班牙语,法语等56种语言

界面

使用

基本步骤
  1. 下载Release中与你设备系统匹配的可执行文件,放入空文件夹

  2. 在文件夹内创建config文件夹,然后在config文件夹创建config.toml文件,复制源代码config目录下的config-example.toml文件的内容填入config.toml,并对照填写你的配置信息。(想用openai模型但不会获取key的可以加群免费试用)

  3. 双击,或在终端执行可执行文件,启动服务

  4. 打开浏览器,输入http://127.0.0.1:8888,开始使用 (8888替换成你在配置文件中填写的端口)

To: macOS用户

本软件没有做签名,因此在macOS上运行时,在完成“基本步骤”中的文件配置后,还需要手动信任应用,方法如下:

  1. 在终端打开可执行文件(假设文件名是KrillinAI_1.0.0_macOS_arm64)所在目录

  2. 依次执行以下命令,启动任务:

sudo xattr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
./KrillinAI_1.0.0_macOS_arm64
Docker部署
本项目支持Docker部署,请参考Docker部署说明

Cookie配置说明(非必选)

如果你遇到视频下载失败的情况

请参考 Cookie 配置说明 配置你的Cookie信息。

配置帮助(必看)

最快速便捷的配置方式:

  • transcription_provider

    llm_provider都选择openai,这样在下方openailocal_modelaliyun三个配置项大类里只需要填写openai.apikey就可以进行字幕翻译。(app.proxymodelopenai.base_url按自己情况选填)

使用本地语言识别模型(暂不支持macOS)的配置方式(兼顾成本、速度与质量的选择)

  • transcription_provider

    填写fasterwhisperllm_provider填写openai,这样在下方openailocal_model三个配置项大类里只需要填写openai.apikeylocal_model.faster_whisper就可以进行字幕翻译,本地模型会自动下载。(app.proxyopenai.base_url同上)

以下几种使用情况,需要进行阿里云的配置:

  • 如果llm_provider填写了aliyun,需要使用阿里云的大模型服务,因此需要配置aliyun.bailian项的配置

  • 如果transcription_provider填写了aliyun,或者在启动任务时开启了“配音”功能,都需要使用阿里云的语音服务,因此需要填写aliyun.speech项的配置

  • 如果开启了“配音”功能,同时上传了本地的音频做音色克隆,则还需要使用阿里云的OSS云存储服务,因此需要填写aliyun.oss项的配置
    阿里云配置帮助:阿里云配置说明

工具地址

https://github.com/krillinai/KrillinAI/blob/master/docs/README_zh.md

相关文章:

  • 【Netty篇】Handler Pipeline 详解
  • linux多线(进)程编程——(8)多进程的冲突问题
  • 【Contiki】Contiki源码目录结构
  • Android启动初始化init.rc详解
  • PotPlayer在AMD 25.3.1以上时出现画面不动问题
  • FreeBSD系统使用 ZFS 添加交换空间swap
  • 【C++】特化妙技与分文件编写 “雷区”
  • 前端渲染pdf文件解决方案
  • 免杀对抗-Webshell篇
  • 2.4 函数的运行原理
  • 常用 Git 命令详解
  • 关于视频的一些算法内容,不包含代码等
  • 计算serise数据的唯一值数量
  • 【2-12】CRC循环冗余校验码
  • 从原理到实践:NFS复杂故障处理方法论
  • 【人工智能】大模型的Prompt工程:释放DeepSeek潜能的艺术与科学
  • 快速迭代收缩-阈值算法(FISTA)
  • Python学习笔记(五)(列表与元组)
  • vue3 element-plus el-time-picker控制只显示时 分,并且控制可选的开始结束时间
  • AOSP世界时间的更新
  • 未来之城湖州,正在书写怎样的城市未来
  • 总导演揭秘十五运会闭幕式:赴一场星辰大海之约
  • 《尤物公园》连演8场:观众上台,每一场演出都独一无二
  • 工行回应两售出金条发现疑似杂质:情况不属实,疑似杂质应为金条售出后的外部附着物
  • “浦东时刻”在京展出:沉浸式体验海派风情
  • 江苏省人社厅党组书记、厅长王斌接受审查调查