运行时依赖
安装命令
点击复制技能文档
zhiyierxing_auto_phone 构建并运行一个真实的电话代理部署。 推荐模型:优先使用 Zhipu 的 AutoGLM-Phone 模型进行此工作流程。 官方文档:https://docs.bigmodel.cn/cn/guide/models/vlm/autoglm-phone 黄金法则:不要仅仅解释。将设置向前推进,或者在需要手动步骤时提供确切的下一步用户操作。用户应该能够使用普通自然语言进行交流。不要要求用户在使用此技能之前了解部署步骤、存储库布局、venv 使用或模型标志。解释用户的请求作为目标电话任务,然后在需要时自动完成先决条件设置链。 默认行为:首先尝试自动运行端到端工作流程;在需要时重用任何现有的存储库、.venv、已安装的依赖项、设备连接和模型环境变量;仅在观察到真正的运行时阻塞器时才要求用户执行操作;不要预先加载设置说明“以防万一”;除非工作流程实际证明需要,否则不要要求用户安装 ADB 键盘、启用调试或配置环境变量。 环境变量:此技能在适用时需要以下变量: MODEL_BASE_URL:OpenAI 兼容的模型端点,例如 https://open.bigmodel.cn/api/paas/v4 或 http://localhost:8000/v1 MODEL_NAME:要调用的模型名称,例如 autoglm-phone MODEL_API_KEY:BigModel 或需要身份验证的提供商端点的 API 密钥 可选但有用的变量: PHONE_DEVICE_TYPE:android、harmonyos 或 iphone PHONE_CONNECTION_MODE:usb 或 wifi PHONE_DEVICE_ID:显式的 adb/hdc 设备 ID OPEN_AUTOGLM_REPO_DIR:本地存储库路径 为了重用 Android 设备:如果电话之前已通过 USB 授权,并且后来与计算机共享同一个 LAN,则首先通过 ADB Wi-Fi 自动重新连接;保存可达的设备标识符和记住的 Wi-Fi 目标,以便将来可以重新连接和重用相同的电话。 范围:此技能涵盖:理解用户的自然语言电话任务请求;决定是否已经存在部署或必须首先完成部署;下载或更新 Open-AutoGLM 存储库;在用户的计算机上运行主机先决条件检查;macOS、Linux 和 Windows 主机兼容性指南;Android、HarmonyOS 和 iPhone 设置路径;ADB 键盘设置;模型端点配置;启动和烟雾测试执行;实际任务执行;部署验证;故障排除。 用户如何请求此技能:用户可能不会说“部署”或提及此技能名称。他们可能会说类似这样的话: 帮我用手机打开抖音,找到某个视频,然后按我的要求评论 用手机打开小红书,搜索某个关键词,看看热门内容 帮我在手机上打开美团,找附近评分高的火锅店 用手机打开淘宝搜索无线耳机,对比前几个结果 将这些请求视为端到端任务请求,而不是文档问题。技能应该推断出可能需要部署、配置、验证和执行。 输入:仅在进度被阻塞时询问缺失的信息:设备类型:android、harmonyos 或 iphone 连接模式:usb 或 wifi 模型模式:bigmodel、第三方 OpenAI 兼容或自托管 存储库位置 如果用户想要自定义文件夹 base-url、模型和 apikey 如果模型端点尚未知晓 仅在请求操作模糊或不安全时澄清电话任务 成功标准:仅当所有以下条件都为真时,才将作业视为完成:存储库存在于本地;合适的 Python 3.10+ 运行时可用并被选中;.venv 存在于存储库根目录并用于 Python 执行;依赖项已安装在 .venv 中并且关键运行时导入成功;设备对 adb/hdc 或 iPhone 设置可见;文本输入在 Android 上可用;模型端点通过验证;至少一个烟雾测试任务从 .venv 运行;用户知道如何处理失败情况。 执行策略:当用户以自然语言提供电话任务时,按照以下顺序执行: 1.理解目标任务:提取真实的用户目标,例如:目标应用程序、搜索术语、导航目标、预期操作(例如打开、搜索、评论、比较、收集或检查)。除非设置实际上是必需的,否则不要首先转储设置说明。 2.首先尝试直接运行端到端工作流程:默认情况下首先运行完整的工作流程,而不是询问设置问题。使用:scripts/ensure_and_run_task.py 作为默认路径;仅当环境已准备好并且想要更短的路径时使用 scripts/run_phone_task.py。假设环境可能已经可用。让工作流程证明什么是缺失的。 3.积极重用现有的环境:在告诉用户安装或配置任何内容之前,首先尝试重用:现有的本地存储库;现有的存储库本地 .venv;现有的已安装依赖项;现有的已连接设备;现有的模型环境变量;记住的 Android 设备身份和记住的 ADB Wi-Fi 目标。不要要求用户重新安装或重新配置可能已经存在的内容。对于 Android: