Airpoint
v1.3.16通过自然语言控制 Mac —— 打开应用程序、点击按钮、读取屏幕、输入文本、管理窗口,并通过 Airpoint 的 AI 计算机使用代理自动执行多步任务。
运行时依赖
安装命令
点击复制技能文档
Airpoint — AI 计算机使用 macOS Airpoint 为您提供一个可以看到和控制 Mac 的 AI 代理 — 打开应用程序,点击 UI 元素,读取屏幕文本,输入文本,滚动,拖动和管理窗口。您给它一个自然语言指令,它将自主地执行任务,通过感知屏幕(可访问性树 + 屏幕截图 + 视觉定位器),规划操作,执行它们,并验证结果。所有操作都通过 airpoint CLI 运行。
要求 macOS(Apple Silicon 或 Intel) Airpoint 应用程序 — 必须运行。从 airpoint.app 下载。 Airpoint CLI — airpoint 命令必须在 PATH 中。从 Airpoint 应用程序安装:设置 → 插件 → 安装 CLI。
设置 在使用 Airpoint 的 AI 代理之前,用户必须在 Airpoint 应用程序中配置它(设置 → 助手): AI 模型 API 密钥(必需)。为所选提供程序设置 API 密钥:OpenAI(推荐):模型 gpt-5.1,推理努力低,提供了最佳的成本、速度和质量平衡。Anthropic 和 Google Gemini 也支持。 Gemini API 密钥(推荐)。即使使用 OpenAI 或 Anthropic 作为主要模型,Google Gemini API 密钥也可以启用视觉定位器 — 一个次要模型(gemini-3-flash-preview),它通过分析屏幕截图来找到 UI 目标。没有它,代理将仅依赖于可访问性树。 macOS 权限。应用程序在首次启动时会提示,但请在系统设置 → 隐私和安全中验证这些权限已被授予:可访问性 — 必需用于鼠标/键盘控制。屏幕录制 — 必需用于屏幕截图和屏幕感知。摄像头仅用于手势跟踪(不用于 AI 代理)。 自定义指令(可选)。在设置 → 助手中,添加自定义指令以自定义代理的行为(例如,首选语言,避免的应用程序,要遵循的工作流程)。如果用户报告 airpoint ask 失败或代理无法看到屏幕,请要求他们验证步骤 1-3。
使用方法 运行 airpoint ask "<您的指令>" 将任务发送到设备上的代理。该命令将阻塞,直到代理完成(最长 5 分钟)并返回: 代理执行的操作和结果的文本摘要。 一个或多个屏幕截图文件路径,显示任务完成后的屏幕状态。 阅读文本输出以确认任务是否成功。如果返回了屏幕截图,请向用户显示最后一个屏幕截图作为结果的视觉确认。如果出现问题或任务卡住,请运行 airpoint stop 以取消。
示例流程:
airpoint ask "打开 Safari 并搜索 'OpenClaw'"打开 Safari,输入 'OpenClaw' 到地址栏,并按 Enter。搜索结果页面现在显示。 1 个屏幕截图已保存到会话 abc123 └ 屏幕截图/步骤 3.png (/Users/you/Library/Application Support/com.medhuelabs.airpoint/sessions/abc123/屏幕截图/步骤 3.png) 在收到此输出后,请向用户显示屏幕截图,以便他们可以看到发生了什么。
命令 要求 AI 代理执行某些操作(主要命令) 这是最重要的命令。它将自然语言任务发送到 Airpoint 的内置计算机使用代理,该代理可以看到屏幕,移动鼠标,点击,输入文本,滚动,打开应用程序,管理窗口和验证其自身的操作。 # 同步 — 等待代理完成(最长 5 分钟)并返回输出 airpoint ask "打开 Safari 并前往 github.com" airpoint ask "我的屏幕上现在有什么?" airpoint ask "找到 Slack 通知并阅读它" airpoint ask "打开系统设置并启用暗模式" airpoint ask "打开邮件,找到来自 John 的最新电子邮件并总结它" # 异步 — 立即返回 airpoint ask "打开 Spotify 并播放我喜欢的歌曲" --no-wait # 显示助手面板在运行时 airpoint ask "打开系统设置并启用暗模式" --show-panel
停止运行任务 airpoint stop 取消当前运行的助手任务。使用此命令如果任务卡住或需要太长时间。
捕获屏幕截图 airpoint see 返回当前显示器的屏幕截图。用于在发出 ask 命令之前或之后验证状态。
检查状态 airpoint status airpoint status --json 返回应用程序版本和当前状态(跟踪活动等)。
手势跟踪(次要) Airpoint 也支持通过摄像头基于的手势跟踪。这些命令启动/停止此功能: airpoint tracking on airpoint tracking off airpoint tracking # 显示当前状态
读取或更改设置 airpoint settings list # 所有当前设置 airpoint settings list --json # 机器可读 airpoint settings get cursor.sensitivity airpoint settings set cursor.sensitivity 1.5 常见设置:cursor.sensitivity(默认 1.0),cursor.acceleration(默认 true),scroll.sensitivity(默认 1.0),scroll.inertia(默认 true)。
系统状况 airpoint vitals # CPU,RAM,温度 airpoint vitals --json
启动应用程序 airpoint open # 打开/聚焦 Airpoint macOS 应用程序
提示 使用 airpoint 作为