产品简介
OpenGCUA 是阿里通义 MAI-UI 团队于 2026 年 10 月开源的一款通用计算机使用智能体（GCUA）技术栈，采用 Apache-2.0 协议，代码托管于 GitHub。其定位并非仅限 GUI 操作，而是融合了 accessibility tree 读取、应用 API 调用、shell 命令执行等多种手段，并将 GUI 操作编写为代码，组合进带循环和条件的程序中，实现与用户共用同一台电脑的后台窗口操作。本次开源内容包括 macOS 实机 harness、跨设备 SDK、OSWorld 集成示例以及 8 个前沿模型的评测轨迹，后续计划放出 GCUA 模型。
核心功能
- 多模态操作融合：不只操作 GUI，同时读取 accessibility tree、调用应用 API、执行 shell 命令，并将 GUI 操作写成代码，组合进带循环和条件的程序，提升自动化灵活性与效率。
- macOS 实机 harness：提供菜单栏应用形式的 macOS 实机 harness，要求 macOS 14+，支持在真实环境中运行和调试智能体。
- 跨设备 SDK：同一套接口覆盖电脑、浏览器与手机，便于开发者跨平台构建和部署计算机使用智能体。
- OSWorld 集成示例：包含截图动作与代码动作两类参考 agent，帮助开发者快速上手并集成到 OSWorld 评测环境。
- 前沿模型评测轨迹：开放 8 个前沿模型（GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash、GLM-5.3-Flash、Qwen3.8-Max、Qwen3.8-Flash、Kimi K3、DeepSeek-V4.1-Flash）的评测轨迹，便于复现与分析。
- 性能提升显著：在 OSWorld-v2 离线集上，相比仅 GUI 加批量动作的基线，8 个模型平均 partial score 从 45.3 提升到 64.9（+19.6 分），每任务步骤数平均减少 53%；将操作写成代码比 GUI+CLI agent 再加 6.1 分、步骤减少 14.8%。
适合谁用
以下类型的用户会特别受益于 OpenGCUA：
- 自动化跨设备任务流程，如电脑、浏览器与手机间的协同操作。
- 在 macOS 上构建和调试通用计算机使用智能体，利用实机 harness 进行真实环境测试。
- 基于 OSWorld 集成示例快速开发截图动作或代码动作的参考 agent。
- 利用开放的评测轨迹复现前沿模型表现，进行对比分析与研究。
- 将 GUI 操作编写为代码并组合进带循环和条件的程序，实现复杂后台自动化。
优点亮点
- 开源且采用 Apache-2.0 协议，便于商用与二次开发。
- 融合 GUI、API、shell 与代码多种操作方式，提升任务处理能力。
- 提供跨设备 SDK 与 macOS 实机 harness，覆盖多平台开发需求。
- 开放 8 个前沿模型的评测轨迹，增强可复现性与研究价值。
- 在 OSWorld-v2 离线集上展示出 partial score 提升与步骤数减少的量化效果。
- 项目后续计划放出 GCUA 模型，具备持续演进潜力。
价格与方案
OpenGCUA 为开源项目，采用 Apache-2.0 协议，代码托管于 GitHub，可免费获取与使用。目前未提供商业定价信息，具体以官网为准。
总结与建议
OpenGCUA 是阿里通义 MAI-UI 团队开源的通用计算机使用智能体技术栈，融合 GUI、API、shell 与代码操作，提供 macOS harness、跨设备 SDK 及 OSWorld 集成示例。在 OSWorld-v2 离线集上，8 个模型平均 partial score 提升 19.6 分，步骤数平均减少 53%，并开放了前沿模型评测轨迹。项目采用 Apache-2.0 协议，后续计划放出 GCUA 模型。
版本演进
- 阿里通义 MAI-UI 开源 OpenGCUA：通用计算机使用智能体完整技术栈 （2026-10-19）：阿里通义 MAI-UI 团队开源 OpenGCUA，Apache-2.0 协议，技术报告为 arXiv 2610.22200。本次放开的内容包括 macOS 实机 harness（要求 macOS 14+）、跨设备 SDK、OSWorld 集成示例，以及 GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash 等 8 个前沿模型的评测轨迹。在 OSWorld-v2 离线集上，8 个模型的平均 partial score 从 45.3 提升到 64.9，每任务步骤数平均减少 53%，模型间最强与最弱的差距从 39.1 分收窄到 18.0 分。