OpenMontage 概述

OpenMontage 是首个开源的、由智能体（agent）驱动的视频生产系统。它将 AI 编程助手转变为完整的视频制作工作流：用户用自然语言描述需求，智能体负责调研、脚本撰写、素材生成、剪辑与最终合成。

核心能力

OpenMontage 不止于"静态图配 Ken Burns 动画"。它可以基于免费/开源的真实素材库，构建由真实动态片段组成的视频：智能体从 Archive.org、NASA、Wikimedia Commons 等开放档案建立可检索的素材语料库，剪辑后渲染成片。

系统提供：

• 12 条生产流水线，涵盖动画讲解、电影感预告片、纪录片蒙太奇、播客剪辑、虚拟数字人播报、屏幕演示、角色动画等场景
• 100+ 工具，覆盖视频生成、图像生成、TTS、音乐、混音、字幕、增强、分析
• 700+ 智能体技能与制作知识文件，每条流水线都有专属的导演技能
• 参考视频驱动创作：粘贴一个喜欢的 YouTube/Reel/短视频，智能体分析其节奏与风格，产出差异化的制作方案

快速开始

前置依赖

• Python 3.10+
• FFmpeg
• Node.js 18+
• AI 编程助手（Claude Code、Cursor、Copilot、Windsurf、Codex 任一）

安装与运行

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

随后在 AI 助手中输入自然语言提示：

"制作一个 60 秒的动画讲解，介绍神经网络如何学习"

或使用真实素材路径：

"制作一个 75 秒的纪录片蒙太奇，关于雨中的城市生活。只使用真实素材，
无旁白，哀伤基调，配音乐。"

智能体会自动执行：实时联网调研、AI 图像生成、脚本与旁白（带声音指导）、自动获取免版权背景音乐、烧录逐字字幕、最终渲染。输出前会进行 ffprobe 校验、帧采样、音频电平分析、字幕检查等多点自审。

零 API Key 能力

make setup 默认即支持以下免费工具：

能力	工具	功能
旁白	Piper TTS	离线 TTS
开放素材	Archive.org / NASA / Wikimedia	公共档案素材
补充素材	Pexels / Unsplash / Pixabay	免费素材（开发者 key 免费申请）
合成（React）	Remotion	数据驱动讲解器、字幕、统计卡
合成（HTML/GSAP）	HyperFrames	动态排版、SVG 角色动画
后期	FFmpeg	编码、字幕烧录、混音、调色
字幕	内置	自动逐字字幕

零成本路径包括：图像驱动视频、本地 SVG 角色动画、真实素材纪录片蒙太奇。

API Key 配置

所有 key 均为可选，按需添加。配置文件 .env：

# 图像与视频网关
FAL_KEY=your-key               # FLUX 图像、Veo/Kling/MiniMax 视频、Recraft
ATLASCLOUD_API_KEY=your-key    # 多模型统一接入

# Kling 官方直连
KLING_API_KEY=your-key

# 免费素材
PEXELS_API_KEY=your-key
PIXABAY_API_KEY=your-key
UNSPLASH_ACCESS_KEY=your-key

# 音乐
SUNO_API_KEY=your-key          # 完整歌曲与纯音乐

# 语音与图像
ELEVENLABS_API_KEY=your-key
OPENAI_API_KEY=your-key        # OpenAI TTS、GPT Image 2
GOOGLE_API_KEY=your-key        # Imagen、Google TTS

# 更多视频供应商
HEYGEN_API_KEY=your-key
RUNWAY_API_KEY=your-key

GPU 用户可执行 make install-gpu 解锁本地视频生成（Wan2.1、Hunyuan、CogVideo、LTX-Video 等开源模型）。

Backlot 实时看板

Backlot 是本地可视化看板，随流水线自动填充：

python -m backlot open                  # 项目库视图
python -m backlot open <project-id>     # 单个项目实时看板
python scripts/backlot_simulate_run.py  # 无项目时可观看模拟运行

关键特性：

• 实时进展：阶段、脚本、场景卡片、素材生成进度全部上墙
• 审批关卡：脚本与场景接触印片（contact sheet）会暂停等待用户批准，渲染前确认视觉
• 回放：完成后可点 ▶ REPLAY RUN 完整回放生产过程

流水线架构

每条流水线遵循统一流程：

research -> proposal -> script -> scene_plan -> assets -> edit -> compose

每个阶段都有专属的导演技能文件（Markdown），智能体读取技能后调用 Python 工具、自审、检查点存档，并在创意决策点请求人工批准。

网络调研是正式阶段：撰写脚本前，智能体会进行 15-25+ 次网络搜索（YouTube、Reddit、Hacker News、新闻、学术来源），并附带结构化引用。

三层知识架构

第 1 层：tools/ + pipeline_defs/    "存在什么"——可执行能力与编排
第 2 层：skills/                    "怎么用"——OpenMontage 约定与质量标准
第 3 层：.agents/skills/            "它如何工作"——外部技术知识包

供应商选择机制

智能体不锁定单一供应商。评分选择器从 7 个维度（任务适配度、输出质量、控制力、可靠性、成本、延迟、连续性）对所有可用供应商排序并自动择优，每次选择都写入可审计的决策日志。

质量门禁

• 交付承诺强制：阻止幻灯片式渲染
• 预合成校验：在消耗 GPU 之前捕获错误计划
• 渲染后自审：ffprobe、帧提取、音频分析、字幕校验
• 预算治理：执行前成本估算、单次操作花费上限、需人工批准的金额阈值

提供商支持概览

• 视频生成（15 家）：Kling（fal.ai 与官方）、Runway Gen-4、Google Veo 3、Grok Imagine、Higgsfield、HeyGen、Wan2.1（本地）、Hunyuan（本地）、CogVideo（本地）、LTX-Video，以及 Pexels/Pixabay/Wikimedia 等素材库
• 图像生成（11 家）：FLUX、Google Imagen、Grok Imagine、GPT Image 2、Recraft、Kling Official、本地选项等