infinitetalk

# InfiniteTalk - 音频驱动视频生成 ## 任务目标 - 本 Skill 用于：将音频（语音）转换为同步的说话人视频，支持从单张图片或现有视频生成音频驱动的说话视频 - 能力包含： - Image-to-Video：从单张图片生成音频驱动的说话视频 - Video-to-Video：对现有视频进行音频驱动的重配音 - 多维度同步：唇形、头部运动、身体姿态、面部表情与音频精准对齐 - 无限时长：支持无限制时长的视频生成 - 低显存适配：支持量化、模型卸载等显存优化方案 - 触发条件：当需要生成音频驱动的数字人视频、视频配音、虚拟主播内容时使用 ## 前置准备 - 模型下载：在使用本 Skill 前，必须先下载所需的模型权重文件，具体步骤见 [references/model_download.md](references/model_download.md) - 硬件要求： - GPU：推荐使用 16GB+ 显存的 GPU（可使用量化方案适配低显存设备） - 内存：建议 32GB+ 系统内存 - 磁盘空间：至少 50GB 可用空间（模型权重约 30GB） - 环境配置：详细依赖安装见 [references/environment_setup.md](references/environment_setup.md) ## 操作步骤 ### 模式一：Image-to-Video（图片生成视频） 1. 准备输入 - 确保有一张清晰的人脸图片作为输入 - 准备音频文件（支持 mp3、wav 等格式） - 可选：使用 TTS 功能从文本生成音频 2. 执行生成 - 调用 `scripts/infer_infinitetalk.py` 进行推理 - 参数说明： - `input_path`: 输入图片路径 - `audio_path`: 驱动音频路径（或提供 `text` 使用 TTS） - `output_path`: 输出视频路径 - `mode`: `clip`（单段）或 `streaming`（长视频） - `size`: `infinitetalk-480`（480P）或 `infinitetalk-720`（720P） - `sample_steps`: 采样步数（默认 40） - `sample_audio_guide_scale`: 音频引导强度（默认 4.0） 3. 验证输出 - 检查生成的视频是否同步良好 - 确认唇形、头部动作与音频匹配 - 如有异常，调整 `sample_audio_guide_scale` 参数 ### 模式二：Video-to-Video（视频重配音） 1. 准备输入 - 准备参考视频文件 - 准备目标音频文件 2. 执行生成 - 使用相同的脚本，但 `input_path` 指向视频文件 - 脚本会自动提取视频的首帧作为参考 3. 处理长视频 - 使用 `streaming` 模式生成无限时长视频 - 通过 `motion_frame` 参数控制驱动帧长度（默认 9） ### 模式三：使用 TTS 生成音频 1. 文本转语音 - 提供待合成的文本内容 - 指定声音模型（Kokoro-82M） - 脚本会自动生成音频文件 2. 生成视频 - 使用生成的音频驱动视频生成 ...