CUA 智能体框架

项目概览

Cua 是一个面向 AI 代理的计算机使用框架，提供完整的桌面环境、自动化驱动、本地虚拟机以及评测工具链。整个仓库围绕一个核心理念：让 AI 代理能够像人类一样在真实桌面系统中操作。

组件构成

Cua Spaces

桌面应用，为代理提供完整桌面。每个 Space 既可以是本地 Mac 上的 macOS 虚拟机，也可以是 Linux 或 Omarchy 镜像。Space 可部署在本地 Mac、其他自有机器，或自有云账号（AWS、Google Cloud、Modal）中。

核心特性包括：

• Teleport：将已登录的应用迁移到 Space 中，会话凭证经 Cua Keyvault 加密保存
• Multiplayer：人与代理在同一桌面协同，各自拥有独立光标
• Agent-ready 镜像：预装 cua-spacesd，启动即可提供进程、文件、截图和输入能力

个人版免费，Pro 版每月 18 美元，Teams 版每席位每月 30 美元，需 macOS 26 及以上。

Cua Driver

后台运行的桌面自动化驱动，支持 macOS、Windows 和 Linux，可通过 CLI、MCP 或类型化 SDK 连接。在应用与平台支持的前提下，可在不夺取焦点的前提下操作界面。

安装命令：

# macOS / Linux
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"

# Windows (PowerShell)
irm https://cua.ai/driver/install.ps1 | iex

Lume

基于 Apple Silicon 的 Virtualization.Framework 框架，提供本地 macOS 和 Linux 虚拟机的创建与管理能力。

Cua SDK 与 CLI

统一的 SDK 与 cua 命令行工具，覆盖本地虚拟机、容器，以及运行 cua-spacesd 的任意机器。

核心使用示例：

cua sb create ubuntu --name dev          # 创建 gVisor 容器
cua sb exec dev uname -a                 # 在容器内执行命令
cua sb screenshot dev                    # 截取容器屏幕
cua sb rm dev                            # 删除容器

Python SDK 用法：

from cua_sandbox import Image, Sandbox

async with Sandbox.ephemeral(Image.linux(), local=True) as sb:
    print((await sb.shell.run("uname -a")).stdout)

SDK 支持 Python（pip install cua）、TypeScript（@trycua/cua）、Swift 与 Kotlin，内嵌进程或通过共享的 cua daemon 运行。镜像若安装了 cua-spacesd（端口 3211），还可提供低延迟音视频流。

CUA-S1

CUA-S1 是面向计算机使用场景的"系统 1"小模型系列，专注于快速、有限边界的决策，例如为表单字段选择合适的值。首个研究方向聚焦表单填写：依据结构化的界面元素和文档值进行评分决策。模型权重托管在 Hugging Face，源代码以 MIT 协议开源。

Cua Bench

用于构建计算机使用任务、评测代理并导出训练轨迹。模拟任务无需虚拟机、Docker 或模型 API 密钥。

安装方式（需 Python 3.12/3.13 与 uv）：

uv tool install 'cua-bench[browser]'
uv tool run --from 'cua-bench[browser]' playwright install chromium

软件包

包名	说明
cua-driver	跨平台后台代理
cua SDK 与 CLI	Raster 核心与 cua 命令
cua (Python)	Python SDK
@trycua/cua	Node 与浏览器 SDK
Cua (Swift)	Swift SDK（SwiftPM、XCFramework）
cua-sandbox	高级 Sandbox/Image/Pool API
cua-spacesd	沙箱内守护进程（端口 3211）
Cua Spaces for macOS	菜单栏与刘海区界面
Cua Spaces core	Tauri 跨平台核心
cua-bench	计算机使用基准与 RL 环境
lume	Apple Silicon 上的虚拟机管理
lumier	Lume 的 Docker 兼容接口

协议说明

除 Cua Spaces 与 Cua Driver Bench 采用 FSL-1.1-MIT 外，其余组件均采用 MIT 协议。FSL 部分禁止以托管服务形式竞争，每个版本发布两年后转为 MIT。部分子目录（如可选的 cua-som、cua-perception 扩展）使用 AGPL-3.0 或其他协议，使用前需查阅相应许可。