2026-11-18 10:00
导语:每0.7秒自主决定说或听,4步蒸馏实现实时生成。Duo v1是什么 Duo v1 是蚂蚁技术研究院与西湖心辰联合开源的全
Duo v1 是蚂蚁技术研究院与西湖心辰联合开源的全双工音视频交互模型,也是首个 Reciprocal World Model(双向世界模型)实现。Duo v1由 Intent 与 Realization 两个耦合模块构成,Intent 作为虚拟主体的”大脑”,每约0.7秒自主决策说话或倾听并生成内容;Realization 基于其隐状态因果生成一致的音视频。三阶段训练加 Dual Rollout 解决推理分布偏移,最终蒸馏为4步实时生成。

<speak> 或 <wait>。<speak>/<wait> 决策和语言内容;输出的是隐状态,直接作为 Realization 的条件信号。
微信关注回复“开源”,加入AI开源项目交流群
.venv-model(先装匹配 CUDA 的 PyTorch,再 pip install -e '.[realization]')和 .venv-speech(pip install -e '.[speech]')两个虚拟环境。hf download inclusionAI/Duo-1.2-causal-base --local-dir weights 下载完整模型包(含 ASR 与对齐模型),或先下 Duo-1.0-causal-base 再叠加 Duo-1.0-distill 获得 4 步实时生成。cp configs/inference.example.json configs/inference.json。inference.json 中填好三个 Python 可执行路径(realization / intent / speech 分属两个虚拟环境)及各模型权重目录。.venv-model/bin/python run_demo.py --config configs/inference.json --port 4173。http://127.0.0.1:4173/video/index.html,录制或上传 MP4/WebM 视频可生成并播放 Duo 的音视频回应。<speak>/<wait>,天然支持边说边听、打断响应。| 对比维度 | Duo v1 | Gemini Live |
| 核心范式 | Reciprocal World Model(双向世界模型) | 实时多模态语音/视频交互 API |
| 输出形态 | 音视频联合输出(生成虚拟主体的画面+声音) | 仅语音输出(可”看懂”视频但不生成形象) |
| 交互决策 | Intent 模块每 0.7 秒自主决策说/听,决策内生于模型 | 全双工原生源,但参与节奏由服务端策略调控 |
| 世界模拟能力 | 场景作为交互时空的一部分被联合建模 | 无(专注对话理解,不模拟物理世界) |
| 开放程度 | 完全开源:报告 + 代码 + 权重(Apache 2.0),支持自托管 | 闭源 API(~$0.01/分钟起,按 token 计费) |
| 延迟 | 4 步蒸馏生成 + 约 0.7 秒 chunk 节律 | 端到端约 300–500 ms |
| 部署门槛 | 高:需 2 张 CUDA GPU 自托管 | 低:调用 API 即可 |
| 语言支持 | 以中英为主(训练数据双语混合) | 90+ 语言,业界最广 |
来源:AI工具集
免责声明:含第三方意见,不构成财务建议
Step Code – 阶跃星辰开源的终端编程智能体
09-24
Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型
09-02
Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型
09-02
开源版Retool来了,60+组件拖拽搭后台
08-19
Claude Opus 5来了:半价逼近Fable 5
07-25
腾讯开源260个真实任务,考AI打工能力
07-25
美团开源AI考场:813个Minecraft任务
07-25






