📦 IaworkerIntelligent
v1.0.0Automation Worker — 分析视频/图像流,为物理任务(调试、维修、装配……)生成结构化、实时的操作步骤。
详细分析 ▾
运行时依赖
版本
iaworker 初始发布:面向实时物理任务指导的智能自动化工人。 - 分析图像、视频或实时摄像头流,检测物理问题(维修、调试、装配、检验)。 - 生成结构化、分步操作说明,附带预估难度与所需工具。 - 以视觉(markdown 显示)和语音(TTS 朗读)双模式提供指导,支持逐步确认。 - 支持多种任务类型,每步安全警告与防错提示。 - 通过 YAML 配置文件高度自定义 TTS、显示与工作流程参数。 - 包含模块化脚本:视频/图像分析器、步骤生成器、TTS/显示处理器。
安装命令
点击复制技能文档
分析视频/图像流,诊断物理问题,生成结构化逐步操作指引。以可视化(markdown 显示)与可听化(TTS 语音)双重方式交付指令。
---
核心流程
``
┌─────────────────────────────────────────────────────────────────────┐
│ iaworker 流程 │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ [1] 接收输入 │
│ 视频文件路径、图片路径或实时摄像头画面 │
│ ↓ │
│ [2] 分析 (video_analyzer.py) │
│ - 提取关键帧 │
│ - 识别物体、损坏、组件 │
│ - 检测异常模式(裂纹、松动、液体泄漏) │
│ - 分类任务类型(维修 / 调试 / 装配 / 检验) │
│ ↓ │
│ [3] 生成步骤 (step_engine.py) │
│ - 构建有序编号动作步骤 │
│ - 包含工具需求、安全警告 │
│ - 标记前置步骤(断电等) │
│ - 估算每步难度/时间 │
│ ↓ │
│ [4] 交付 (speaker.py + display) │
│ - 显示格式化 markdown 步骤指南 │
│ - 通过 TTS 朗读每步 │
│ - 逐步推进(非一次性全部显示) │
│ - 可配置等待用户确认后再继续 │
│ │
└─────────────────────────────────────────────────────────────────────┘
` ---
快速开始
分析图片并获得语音步骤
`bash
python scripts/video_analyzer.py \
--input /path/to/image.jpg \
--task repair \
--lang en \
--speak
` 分析视频并分段输出步骤
`bash
python scripts/video_analyzer.py \
--input /path/to/video.mp4 \
--task debug \
--lang en \
--speak \
--step-by-step
` 实时摄像头分析
`bash
python scripts/video_analyzer.py \
--input camera \
--task inspection \
--lang en \
--speak \
--live
` ---
脚本
video_analyzer.py
入口脚本,分析视觉输入并触发步骤生成。
`bash
python scripts/video_analyzer.py [options]
` 选项:
| 参数 | 说明 | 默认值 |
|------|------|--------|
| --input PATH | 图片路径、视频路径或 camera 实时 | 必填 |
| --task TYPE | repair、debug、assembly、inspection、auto | auto |
| --lang CODE | en 或 zh | en |
| --speak | 启用 TTS 朗读步骤 | 关闭 |
| --step-by-step | 逐条朗读与显示,等待确认 | 顺序模式 |
| --live | 实时摄像头连续分析 | 关闭 |
| --output PATH | 将步骤写入 markdown 文件 | 仅控制台 |
| --frame-skip N | 视频跳帧(加速分析) | 10 |
任务自动识别:
- repair
— 物品损坏;查找损伤并建议修复 debug— 功能异常;追踪故障原因assembly— 需要组装/搭建inspection— 检查状态并报告结果
step_engine.py
根据分析结果生成结构化步骤。
`python
from step_engine import StepEngine
engine = StepEngine(lang="en")
steps = engine.generate(
task_type="repair",
objects=["wheel", "chain", "brake caliper"],
anomalies=["chain loose", "brake pad worn"],
context={"bike_type": "mountain"}
)
for step in steps:
print(step["number"], step["title"])
print(step["description"])
print(f"[Tools: {step['tools']}] [Time: {step['time_estimate']}]")
if step["safety_warning"]:
print(f"⚠️ {step['safety_warning']}")
``