当前位置：首页 > news >正文

openai-cua-sample-app - 使用计算机的 Agent示例应用

news 来源：原创 2025/5/14 13:33:58

文章目录

- 一、关于 openai-cua-sample-app
- - 概述
  - 抽象
- 二、设置与运行
- 三、CLI 使用
- - 运行示例（可选）
- 四、计算机环境
- - Docker 设置
  - 主机环境设置
- 五、函数调用
- 风险与安全考虑

一、关于 openai-cua-sample-app

CUA : Computer Using Agent (CUA)

开始使用 OpenAI API 构建一个使用代理的计算机 (CUA)。

警告：计算机使用处于预览阶段。因为该模型仍处于预览状态，可能容易受到攻击和意外错误的影响，我们不建议在认证环境中或高风险任务中使用它。

概述

计算机使用工具和模型可通过 Responses API 获取。

在宏观层面，CUA 会查看计算机界面的截图并推荐行动。

具体来说，它会发送 computer_call(s) 并携带 actions，例如 click(x,y) 或 type(text)，您需要在您的环境中执行这些操作，并随后期望看到结果的截图。

您可以在计算机使用指南中了解更多关于这个工具的信息。

抽象

这个仓库定义了两个轻量级抽象，以使与CUA代理交互更加人性化。一切都可以在没有它们的情况下工作，但它们提供了便利的关注点分离。

抽象	文件	描述
`计算机`	`computers/computer.py`	定义了适用于各种环境（本地桌面、远程浏览器等）的 `计算机` 接口。`计算机` 的实现负责执行由 CUA（点击等）发送的任何 `computer_action`。
`Agent`	`agent/agent.py`	简单、熟悉的代理循环 - 实现 `run_full_turn()`，该函数只是不断调用模型，直到处理完所有计算机动作和函数调用。

二、设置与运行

设置 Python 环境并安装依赖项。

python3 -m venv env
source env/bin/activate
pip install -r requirements.txt

运行 CLI 以让 CUA 使用本地浏览器窗口，使用 playwright。 (使用 CTRL+C 停止)

python cli.py --computer local-playwright

其他包含的示例计算机环境：

Docker (容器化桌面)
Browserbase (远程浏览器，需要账户)
Scrapybara (远程浏览器或计算机，需要账户)
…或实现你自己的 Computer!

三、CLI 使用

CLI (cli.py) 是开始使用 CUA 的最简单方式。它接受以下参数：

--computer: 要使用的计算机环境。有关选项，请参阅下面的计算机环境部分。默认情况下，CLI 将使用 local-playwright 环境。
--input: 代理的初始输入（可选：如果未提供，CLI 将会提示您输入）
--debug: 启用调试模式。
--show: 在执行期间显示图像（截图）。
--start-url: 使用特定URL启动浏览会话（仅适用于浏览器环境）。默认情况下，CLI 将使用 https://bing.com 启动浏览会话。

运行示例（可选）

examples 文件夹包含更多有关如何使用CUA的示例。

python -m examples.weather_example

参考文件 simple_cua_loop.py 实现了 CUA 循环的基本内容。

您可以使用以下命令运行它：

python simple_cua_loop.py

四、计算机环境

CUA可以与任何能够处理CUA操作的计算机环境协同工作：

动作	示例
----------------------------------	-------------------------------
`click(x, y, button="left")`	`click(24, 150)`
`double_click(x, y)`	`double_click(24, 150)`
`scroll(x, y, scroll_x, scroll_y)`	`scroll(24, 150, 0, -100)`
`type(text)`	`type("Hello, World!")`
`wait(ms=1000)`	`wait(2000)`
`move(x, y)`	`move(24, 150)`
`keypress(keys)`	`keypress(["CTRL", "C"])`
`drag(path)`	`drag([[24, 150], [100, 200]])`

这个示例应用提供了一系列已实现的 计算机 示例，但请随意添加您自己的！

计算机	选项	类型	描述	要求
`LocalPlaywright`	local-playwright	`browser`	本地浏览器窗口	Playwright SDK
`Docker`	docker	`linux`	Docker 容器环境	Docker 运行
`Browserbase`	browserbase	`browser`	远程浏览器环境	Browserbase API key in `.env`
`ScrapybaraBrowser`	scrapybara-browser	`browser`	远程浏览器环境	Scrapybara API key in `.env`
`ScrapybaraUbuntu`	scrapybara-ubuntu	`linux`	远程 Ubuntu 桌面环境	Scrapybara API 密钥在 `.env` 文件中

使用 CLI，您可以使用上述选项在不同的计算机环境中运行示例应用：

python cli.py --show --computer <computer-option>

例如，要使用 Docker 计算机环境运行示例应用程序，您可以运行：

python cli.py --show --computer docker

Docker 设置

如果您想使用 Docker 计算机环境运行示例应用程序，您需要构建并运行一个本地 Docker 容器。

打开一个新的shell来构建和运行Docker镜像。

第一次这样做可能需要几分钟，但后续运行应该会快得多。

一旦日志停止，请继续进行下一个设置步骤。

要停止容器，请在运行下面命令的终端中按CTRL+C。

docker build -t cua-sample-app .
docker run --rm -it --name cua-sample-app -p 5900:5900 --dns=1.1.1.3 -e DISPLAY=:99 cua-sample-app

注意：我们使用 --dns=1.1.1.3 来限制可访问的网站到一个更小、更安全的集合。我们强烈建议您采取类似的安全预防措施。

警告：如果您遇到以下错误，则需要终止该容器。

docker: Error response from daemon: Conflict. The container name "/cua-sample-app" is already in use by container "e72fcb962b548e06a9dcdf6a99bc4b49642df2265440da7544330eb420b51d87"

杀掉那个容器后再次尝试。