AI剪口播
口播视频转录和口误识别。生成审查稿和删除任务清单。触发词:剪口播、处理视频、识别口误
Pluviobyte · 已有 AI 审核记录
安装与使用
运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。
npx skills add Pluviobyte/rnskill --skill AI剪口播技能说明
name: AI剪口播 description: 口播视频转录和口误识别。生成审查稿和删除任务清单。触发词:剪口播、处理视频、识别口误
剪口播
火山引擎转录 + AI 口误识别 + 网页审核 / 字幕格式化
模式
- 模式 A: 剪口播 — 转录 → 口误识别 → 网页审核 → 剪辑
- 模式 B: 转字幕 — 转录 → 格式化字幕文本(markdown,无时间戳)
输出目录结构
模式 A(剪口播):
output/YYYY-MM-DD_HH-MM_视频名/剪口播/
├── 1_转录/ audio.mp3 · volcengine_v3_result.json · subtitles_words.json
├── 2_分析/ analysis.txt · sentence_map.json · speech_errors.json · auto_selected.json
└── 3_审核/ review.html · audio.mp3 · data.json · silence_periods.json
<视频名>_cut.fcpxml ← 网页点击「导出 FCPXML」后生成在此目录
拖入剪映 / Final Cut Pro 完成最终剪辑
模式 B(转字幕):
output/YYYY-MM-DD_HH-MM_视频名/剪口播/
├── 1_转录/ audio.mp3 · volcengine_v3_result.json · subtitles_words.json · raw_text.txt
└── 2_纠错/ corrected.txt · uncertain.md(可选)
视频所在目录/
└── subtitles_formatted.md ← 最终输出
流程总览
-1. 首次引导(仅第一次:环境自检 + 配置火山引擎)
0. 确认视频路径 + 选择模式
1-4. run_transcribe.sh(自动,两模式共用)
模式 A(剪口播):
5.1 gen_analysis.js
5.2 读规则.md + analysis.txt
5.3 AI 判断整句口误 → speech_errors.json(只填 delete_sentences)
5.4 auto_filler.js → 自动补充词级口癖 idx(快速预筛)
5.5 AI 逐句扫剩余词级口癖(B2/B3/B4,脚本覆盖不到的部分)
5.6 merge_selections.js
6-7. 生成审核网页 + 启动服务器
【等待用户确认】→ 网页点击「导出 FCPXML」→ 拖入剪映 / Final Cut Pro 完成剪辑
(导出同时写 3_审核/review_log.json,供步骤 8 学习)
8. 自进化学习(用户显式触发「已导出,学一下」)→ diff 抽规则 → 确认 → 写 经验规则.md
模式 B(转字幕):
B-1 提取纯文本
B-2 第一步:纠错(只改词,不断行)→ corrected.txt
B-3 第二步:断行(只格式化,不改字)→ subtitles_formatted.md
执行步骤
路径约定(重要):本 skill 不绑定特定 agent,不要假设它装在
~/.claude/skills/。 下面命令里的SKILL_DIR一律指本 skill 的安装目录(即你加载本SKILL.md的那个目录, 含scripts/、用户习惯/)。执行前把它设成你实际加载 skill 的绝对路径即可:SKILL_DIR="<本 skill 的安装目录>" # 例:Claude Code 默认 ~/.claude/skills/AI剪口播API Key 的查找顺序见 scripts/lib/load_api_key.sh: 环境变量
VOLCENGINE_API_KEY→$SKILL_DIR/.env→(兼容旧约定)上一级.env。
步骤 -1: 首次引导(只在第一次跑)
目的:第一次用本 Skill 的人通常没装依赖、没配火山引擎 key。先做一次自检并手把手引导,配好后写标记文件,以后永久跳过,不再打扰。
闸门:先看标记文件是否存在(SKILL_DIR = 本 skill 安装目录,见上方「路径约定」)。
SKILL_DIR="<本 skill 的安装目录>"
[ -f "$SKILL_DIR/.setup_done" ] && echo "已配置,跳过引导" || echo "需要引导"
- 存在
.setup_done→ 直接进入步骤 0,不要跑自检、不要提引导。 - 不存在 → 跑自检脚本(跨平台,Win/macOS/Linux 通用):
node "$SKILL_DIR/scripts/doctor.js"
doctor.js 做三层检查并输出人话报告:① 系统依赖(ffmpeg/node/python3/curl)② VOLCENGINE_API_KEY(环境变量或 .env,查找顺序见 scripts/lib/load_api_key.sh)③ 联网实测 key 与极速版/标准版两个资源是否开通。全绿时它自己写 .setup_done 并退出 0;有缺项退出 1。
AI 按报告分情况引导用户(不要让用户自己看懂报告):
- 缺系统依赖 → 把报告里对应平台的安装命令复制给用户(脚本已按 Win/Mac 给好),让其装完。
- 缺 / 占位 API Key → 按以下流程引导用户(火山引擎·豆包语音服务,共 40h 免费额度):
- 登录控制台 https://console.volcengine.com/speech/new/overview
- 左侧「语音识别」→ 开通「录音文件识别 1.0」,标准版 + 极速版都开(各 20h、共 ≈40h,独立抵扣)
- 左侧「API Key 管理」→ 复制 API Key
- 写入
$SKILL_DIR/.env(推荐,跟着 skill 走;也可export VOLCENGINE_API_KEY=...):
echo "VOLCENGINE_API_KEY=粘贴你的key" >> "$SKILL_DIR/.env" - 某个资源未开通(报告会精确指出是极速版还是标准版)→ 引导去控制台开通对应「录音文件识别 1.0」资源;默认 auto 轮流需两个都开(各 20h 免费、共 ≈40h),只想用一个就转录时加
--flash/--v3-standard。 - 用户修完 → 重跑
node "$SKILL_DIR/scripts/doctor.js",直到全绿(自动写.setup_done),再进入步骤 0。
全程不要替用户去控制台点按钮或粘贴他的私有 key 到别处;只给清晰可复制的命令和链接。
步骤 0: 确认视频路径 + 选择模式
收到视频路径后,先展示确认,格式:
📹 视频:/path/to/视频.mp4
📁 输出:~/Desktop/output/YYYY-MM-DD_HH-MM_视频名/剪口播/
请选择模式:
[A] 剪口播 — 识别口误 → 网页审核 → 导出 FCPXML 给剪映 / FCP
[B] 转字幕 — 转录 → 格式化字幕文本(markdown,无时间戳)
用户确认后再继续,不自动开始。
步骤 1-4: 一键转录流水线(无需 AI)
SKILL_DIR="<本 skill 的安装目录>" # 见上方「路径约定」
VIDEO_PATH="/path/to/视频.mp4"
BASE_DIR="$HOME/Desktop/output/$(date +%Y-%m-%d_%H-%M)_$(basename "$VIDEO_PATH" | sed 's/\.[^.]*$//')/剪口播"
bash "$SKILL_DIR/scripts/run_transcribe.sh" "$VIDEO_PATH" "$BASE_DIR"
# 输出: BASE_DIR/1_转录/{audio.mp3, volcengine_v3_result.json, subtitles_words.json}
#
# 默认引擎: auto 轮流(flash 极速版 auc_turbo ↔ 标准版 auc 交替)
# - 每次转录自动切换引擎,分摊两份各 20h 免费额度 ≈ 共 40h
# - 单 X-Api-Key 认证,base64 直传,不依赖外部图床
# - 需在控制台同时开通极速版(auc_turbo)与标准版(auc)两个资源
# - 限制: 音频 ≤ 2h、≤ 100MB
# 可选引擎(只开了一个资源、或想固定用某个时加):
# --flash 只用极速版(一次直出、最快)
# --v3-standard 只用标准版(异步 submit/query 轮询)
步骤 5: 生成分析文件 + 口误识别
5.1 生成分析文件
node "$SKILL_DIR/scripts/gen_analysis.js" \
"$BASE_DIR/1_转录/subtitles_words.json" \
"$BASE_DIR/2_分析"
# 输出: analysis.txt + sentence_map.json + auto_selected.json
5.2 读取规则 + 分析文件
读 用户习惯/规则.md、用户习惯/经验规则.md(自进化沉淀的个人偏好,见步骤 8)和 analysis.txt。
两份规则都要遵守;冲突时以更具体、更新的为准。
analysis.txt 格式(每行一句,序号: 文本):
0: 直接开始了啊
1: 这是深圳腾讯总部楼下
2: 就为了安装一只
5.3 AI 判断整句口误(只填 delete_sentences)
⚠️ 由你直接阅读
analysis.txt并判断哪些整句是口误。 本步只填delete_sentences,delete_idx留空数组。词级口癖留到 5.4(脚本)+ 5.5(AI 补漏)。
按 规则.md 的 A 节(整句删除) 判断:重复重说、残句、句内卡顿、只含语气词的整句等。
输出格式(写入 $BASE_DIR/2_分析/speech_errors.json):
{
"delete_sentences": [2, 3, 8, 10],
"delete_idx": []
}
5.4 脚本自动识别词级口癖(无需 AI)
node "$SKILL_DIR/scripts/auto_filler.js" \
"$BASE_DIR/2_分析/sentence_map.json" \
"$BASE_DIR/1_转录/subtitles_words.json" \
"$BASE_DIR/2_分析/speech_errors.json"
脚本会就地修改 speech_errors.json,把识别到的口癖 idx 合并进 delete_idx:
- 任意位置:
呃 / 嗯 / 额 / 诶 / 欸 / 唉 / 噢(已排除"额外/金额"等真词) - 任意位置的:
然后(用户偏好:宁可手动加回) - 句首过渡词:
然后 / 那么 / 好的 / 啊 / 哦 / 哎 / 呀 / 对 / 呢 / 那("那"会避开"那个/那么/那里"等) - 句尾废词:
对 / 呢 / 啊 / 哦 - 跳过已整句删除的句子;保护剩余字数 ≤3-4 的短句不被掏空
跑完后,用户已手工填的 idx 也会被保留(合并去重)。
5.5 AI 逐句扫剩余词级口癖(脚本覆盖不到的部分)
脚本只处理"无需上下文判断"的安全口癖。AI 在此扫 analysis.txt,找出脚本覆盖不到的:
- B4 句中重说(优先级最高):前半段说错、后半段纠正 → 删前半段,保留后半段
- B3 冗余引导短语:大家可以看到、你看、给大家看一下、比如说你看一下、我可以告诉你、你明白吗
- B2 句中填充词(慎用,需明确判断为口癖才删):其实、就、也、大概、这个、那个、就是
- B5 脚本未覆盖的句尾拖音
工作方式(避免 token 爆炸 + 过删):
- 顺序扫
analysis.txt,只标"明显有问题"的句子。没明显问题的句子直接跳过,不要为了"也许能再删一点"硬挑刺。 - 把候选句号攒成一批(建议 20-30 句一组),一次
gen_word_detail.js调用拿到词级 idx。 - 把新增 idx 合并写回
speech_errors.json的delete_idx(与 5.4 结果取并集,不要覆盖)。
# 一次传多个句号,减少往返
node "$SKILL_DIR/scripts/gen_word_detail.js" \
"$BASE_DIR/2_分析/s
阅读完整来源 ↗