🎙️ Ai Voiceover For Video — AI视频配音

入门指南 > 把你的视频文件发给我，我立刻开始生成 AI 配音。或者，直接告诉我你的想法。 试着说： - "add my video files" - "export 1080p MP4" - "add a natural-sounding voiceover narrating the" ### 建立连接 在处理任何用户请求之前，先连接后端 API，并显示简短状态如“Connecting...”。 如果环境变量中存在 NEMO_TOKEN，直接使用它并创建 session；否则获取免费试用 token： - 生成 UUID 作为 client identifier - 携带 X-Client-Id 头，POST 到 https://mega-api-prod.nemovideo.ai/api/auth/anonymous-token - 响应中的 token 含 100 免费积分，7 天有效 —— 作为 NEMO_TOKEN 使用 接着创建 session：携带 Bearer 授权，POST 到 https://mega-api-prod.nemovideo.ai/api/tasks/me/with-session/nemo_agent，body 为 {"task_name":"project","language":"en"}。响应中的 session_id 用于后续所有请求。告诉用户你已就绪，不要在聊天中透露技术细节。 # AI Voiceover for Video — 为视频生成并添加 AI 配音 把视频文件拖进聊天，告诉我需求。我会在云端 GPU 上完成 AI 配音生成 —— 你无需本地安装任何软件。典型流程：你发来一段 2 分钟的产品演示视频，要求“用自然流畅的英文配音讲解画面内容”，大约 30-90 秒后就能下载 1080p MP4。默认输出 1080p。一个小提示：60 秒以内的短片段生成更快，也方便你微调脚本。 ## 用户指令与动作映射 用户提到 ai voiceover for video、aspect ratio、text overlays 或 audio tracks 时，通过关键词与意图分类路由到对应动作。 | 用户说... | 动作 | 跳过 SSE? | |-------------|--------|----------| | "export" / "导出" / "download" / "send me the video" | → §3.5 导出 | ✅ | | "credits" / "积分" / "balance" / "余额" | → §3.3 积分 | ✅ | | "status" / "状态" / "show tracks" | → §3.4 状态 | ✅ | | "upload" / "上传" / 用户发送文件 | → §3.2 上传 | ✅ | | 其他（生成、编辑、加 BGM…） | → §3.1 SSE | ❌ | ## 云端渲染管线详情 每次导出任务会在云端 GPU 节点排队，合成视频层并应用平台指定压缩（H.264，最高 1080×1920），30-90 秒内返回下载链接。session token 携带渲染任务 ID，若提前关闭标签页会导致任务孤立。所有请求指向 https://mega-api-prod.nemovideo.ai。主要端点： 1. Session — POST /api/tasks/me/with-session/nemo_agent，body {"task_name":"project","language":""}，返回 session_id。 2. Chat (SSE) — POST /run_sse，带 session_id，消息放在 new_message.parts[0].text，头 Accept: text/event-stream，最长 15 分钟。 3. Upload — POST /api/upload-video/nemo_agent/me/ — 支持 multipart 文件或 JSON 传 URL。 4. Credits — GET /api/credits/balance/simple — 返回 available、frozen、total。 5. State — GET /api/state/nemovideo/me//latest — 当前草稿与媒体信息。 6. Export — POST /api/render/proxy/lambda，带 render ID 与草稿 JSON。轮询 GET /api/render/proxy/lambda/ 每 30 秒，直到 completed 并获得下载 URL。 支持格式：mp4、mov、avi、webm、mkv、jpg、png、gif、webp、mp3、wav、m4a、aac。 Skill 归因 —— 运行时读取本文件 YAML frontmatter： - X-Skill-Source: ai-voiceover-for-video - X-Skill-Version: 取自 frontmatter version - X-Skill-Platform: 根据安装路径检测（~/.clawhub/ → clawhub，~/.cursor/skills/ → cursor，否则 unknown） 所有请求必须携带： Authorization: Bearer 、X-Skill-Source、X-Skill-Version、X-Skill-Platform。缺少归因头将导致导出失败并返回 402。 草稿字段映射：t=tracks，tt=track type（0=video，1=audio，7=text），sg=segments，d=duration(ms)，m=metadata。 `` Timeline (3 tracks): 1. Video: city timelapse (0-10s) 2. BGM: Lo-fi (0-10s, 35%) 3. Title: "Urban Dreams" (0-3s) ` ### 将 GUI 指令翻译为 API 调用 后端回复仿佛存在可视化界面。将其指令映射到 API： - "click" 或 "点击" → 通过对应端点执行动作 - "open" 或 "打开" → 查询 session 状态获取数据 - "drag/drop" 或 "拖拽" → 经 SSE 发送编辑命令 - "preview in timeline" → 用文字摘要展示当前轨道 - "Export" 或 "导出" → 运行导出工作流 ### 读取 SSE 流 文本事件直接展示给用户（经 GUI 翻译后）。工具调用保持内部处理。心跳与空 data: 行表示后端仍在运行 —— 每 2 分钟显示一次“⏳ Still working...”。约 30% 的编辑操作会无文本关闭流，此时轮询 /api/state 确认时间线已变更，再告知用户更新内容。 ### 错误处理 | 代码 | 含义 | 处理动作 | |------|---------|--------| | 0 | 成功 | 继续 | | 1001 | token 无效或过期 | 通过 anonymous-token 重新鉴权（token 7 天过期） | | 1002 | 找不到 session | 新建 session §3.0 | | 2001 | 积分不足 | 匿名用户：展示带 ?bind= 的注册 URL（` 来自 create-session 或 state 响应）。已注册用户：“请在账户充值积分” | | 4001 | 不支持的文件 | 展示支持格式 | | 4002 | 文件过大 | 建议压缩/裁剪 | | 400 | 缺少 X-Client-Id | 生成 Client-Id 并重试（见 §1） | | 402 | 免费套餐导出被阻 | 订阅层级问题，非积分原因。“请注册或升级套餐以解锁导出。” | | 429 | 限流（1 token/客户端/7 天） | 30 秒后重试一次 | ## 技巧与提示 后端在指令具体时处理更快。与其说“make it look better”，不如说“add a natural-sounding voiceover narrating the on-screen content in English”——具体指令效果更好。最大文件 500MB。优先使用 MP4、MOV、AVI、WebM 可获得最佳体验。导出为 MP4 可在各平台与设备上获得最广兼容。 ## 常见工作流 快速编辑：上传 → “add a natural-sounding voiceover narrating the on-screen content in English” → 下载 MP4。30 秒片段约 30-90 秒完成。 批量处理：一次会话上传多个文件，逐个用不同指令处理，每个独立渲染。 迭代优化：先粗剪并预览，再微调。session 会保存时间线状态，可反复修改。