AUBO 开发者

简体中文

English

简体中文

English

主题

智能助手安装及使用教程 ​

1 序言 ​

已验证版本：

  • 软件版本：0.32.3-rc.4 及之后版本支持；具体以上线版本为准，下载链接：https://download.aubo-robotics.cn/arcs/
  • 固件版本：1.1.15-rc.14
  • App 版本：1.0.0-alpha.5
  • 控制柜型号：IS_CE 控制柜
  • 升级包（robot_ops.run）：0.13.0-rc.3
  • 补丁包（.sh）：0.13.0-rc.3
  • teachagenthub 插件：0.1.0-alpha.2
  • AUBO MCP 插件：0.0.1-alpha.3

2 安装 ​

  1. 在网址 Index of /pre-release/robot_ops 和 Index of /pre-release/robot_ops/patch 分别下载 0.13.0-rc.3 版本的软件升级包和补丁包。要注意 .run 和 .sh 的版本需保持一致。

  2. 下载完后将 .run 导入 U 盘，再通过 U 盘导入控制柜中。image.png

    image.jpg

  3. .run 文件导入完成后，将 .sh 文件导入控制柜终端的 /tmp 文件夹中，刷新软件更新界面后会出现 .sh 文件，点击“运行”。image.png

    image.png

  4. 前三步推荐在有线示教器中进行，全部完成后直接切换至无线示教器即可，在主页面右上方会出现一个“商店”按钮。

    image.png

  5. 打开界面右上角“商店”进入应用商店，在“全部应用”选项卡中安装 teachagenthub 和 AUBO MCP 这两个插件，安装完成后在“已安装”选项卡中启用这两个插件，并重启示教器。image.png

    image.jpg

  6. 重启，并用无线的方式进行连接，界面左侧导航栏会显示“助手”选项，进入“设置-偏好-智能助手”界面，该界面会显示“语音唤醒”和“悬浮球”两种唤醒方式；至此，智能助手安装成功！image.png

3 使用 ​

  1. 开启智能助手功能。

    image.png

    image.png

  2. 唤醒智能助手。

    方式一：语音唤醒（说出唤醒词“嗨，遨博”）

    验收检查项：说出唤醒词以后，页面底部出现输入框，显示“我在听...”，同时，页面触发雾蒙蒙发光层效果。

    image.jpg

    方式二：悬浮按钮唤醒（长按悬浮按钮）

    验收检查项：长按悬浮按钮后，页面底部出现输入框，显示“我在听...”，同时，页面触发雾蒙蒙发光层效果。

    image.jpg

  3. 向智能助手提问/下发指令。

    方式一：语音提问/下发指令（唤醒智能助手后用语音向智能助手提问或下发指令）

    验收检查项：通过语音下发指令后，页面出现弹窗，显示下发的指令内容以及智能助手给出的回复。

    image.jpg

    方式二：键盘输入提问/下发指令

    验收检查项：在“助手”页面通过键盘输入指令下发以后，智能助手对话框显示下发的指令内容以及智能助手给出的回复。

    image.jpg

4 智能助手功能使用范围 ​

  1. 智能助手支持的提问：

    类别用户意图用户提问
    连接连接机械臂连接机械臂 172.18.5.240
    连接断开机械臂连接断开机械臂 172.18.5.240 的连接
    状态获取控制器时间获取控制器时间，机械臂 IP 为 172.18.5.240
    状态获取机械臂序列号查询机械臂序列号
    状态获取控制器软件版本查询机械臂软件版本
    状态获取机械臂型号查询机械臂型号
    状态获取安全模式查询机械臂安全模式
    状态获取机器人模式查看机械臂当前状态
    状态获取程序状态查询机械臂程序状态
    管理机械臂上电给机械臂上电
    管理机械臂下电给机械臂下电
    管理松开机械臂抱闸松开机械臂抱闸
    管理解除保护停止解除机械臂保护停止
    管理复位机器人错误复位机械臂错误
    状态查询碰撞状态查询机械臂是否发生碰撞
    遥测获取当前 TCP 位姿查询机械臂当前 TCP 位姿
    遥测获取当前关节位姿查询机械臂当前关节角度
    遥测获取机器人电压获取机器人电压，机械臂 IP 为 172.18.5.240
    遥测获取机器人电流获取机器人电流，机械臂 IP 为 172.18.5.240
    遥测获取关节电压获取关节电压，机械臂 IP 为 172.18.5.240
    遥测获取关节电流获取关节电流，机械臂 IP 为 172.18.5.240
    遥测获取关节温度查询机械臂关节温度
    寄存器读取输出整型寄存器请调用机械臂 MCP 工具“读取输出整型寄存器”（get_output_int_register），参数：
    寄存器读取输出双精度寄存器请调用机械臂 MCP 工具“读取输出双精度寄存器”（get_output_double_register），参数：
    寄存器读取输出位寄存器请调用机械臂 MCP 工具“读取输出位寄存器”（get_output_bit_register），参数：
    脚本获取程序列表请调用机械臂 MCP 工具“获取程序列表”（get_programs），参数：
    运动执行关节运动让机械臂 movej 到 [0,-0.5,0.8,0,1.2,0]
    运动执行直线运动让机械臂 movel 到 [0.4,0.1,0.3,3.14,0,0]
    运动沿 X 方向直线移动机械臂沿 X 方向移动 50 mm
    运动沿 Y 方向直线移动机械臂沿 Y 方向移动 -20 mm
    运动沿 Z 方向直线移动机械臂沿 Z 方向移动 30 mm
    运动绘制圆形轨迹请调用机械臂 MCP 工具“绘制圆形轨迹”（draw_circle），参数：
    运动绘制正方形轨迹请调用机械臂 MCP 工具“绘制正方形轨迹”（draw_square），参数：
    运动绘制矩形轨迹请调用机械臂 MCP 工具“绘制矩形轨迹”（draw_rectangle），参数：
    脚本发送 Lua 脚本请调用机械臂 MCP 工具“发送 Lua 脚本”（send_script），参数：{"ip":"172.18.5.240","script":"-- 示例脚本\ntextmsg("hello")"}
    脚本发送程序脚本请调用机械臂 MCP 工具“发送程序脚本”（send_program_script），参数：{"ip":"172.18.5.240","script":"-- 示例脚本\ntextmsg("hello")"}
    数据分析开始机器人数据记录开始记录机械臂数据
    数据分析停止机器人数据记录停止记录机械臂数据，session_id=record-001
    数据分析生成机器人报告生成机械臂诊断报告
    多机协作初始化多机器人协作请调用机械臂 MCP 工具“初始化多机器人协作”（setup_multi_robot_coordination），参数：
    多机协作创建协作任务请调用机械臂 MCP 工具“创建协作任务”（create_collaborative_task），参数：{"task_name":"协同搬运","robot_assignments":{"robot-01":"pickup","robot-02":"place"},"dependencies":{"place":["pickup"]}}
    多机协作执行协作任务请调用机械臂 MCP 工具“执行协作任务”（execute_collaborative_task），参数：
    轨迹规划生成贝塞尔路径请调用机械臂 MCP 工具“生成贝塞尔路径”（generate_bezier_path），参数：
    轨迹规划优化机器人轨迹请调用机械臂 MCP 工具“优化机器人轨迹”（optimize_trajectory），参数：
    数据分析分析机器人数据请调用机械臂 MCP 工具“分析机器人数据”（analyze_robot_data），参数：
    数据分析比较机器人性能请调用机械臂 MCP 工具“比较机器人性能”（compare_robots_performance），参数：
    WebScope获取控制柜名称获取控制柜名称，机械臂 IP 为 172.18.5.240
    WebScope更新控制柜名称请调用机械臂 MCP 工具“更新控制柜名称”（webscope_update_control_box_name），参数：
    WebScope获取机械臂名称请调用机械臂 MCP 工具“获取机械臂名称”（webscope_get_robot_arm_name），参数：
    WebScope更新机械臂名称请调用机械臂 MCP 工具“更新机械臂名称”（webscope_update_robot_arm_name），参数：
    WebScope获取 WebScope 系统信息获取 WebScope 系统信息，机械臂 IP 为 172.18.5.240
    WebScope远程调用 WebScope SDK请调用机械臂 MCP 工具“远程调用 WebScope SDK”（webscope_remote_call_sdk），参数：{"ip":"172.18.5.240","moduleName":"robot","functionName":"getRobotMode","params":
    WebScope通过 WebScope 发送脚本请调用机械臂 MCP 工具“通过 WebScope 发送脚本”（webscope_send_script），参数：{"ip":"172.18.5.240","script":"-- 示例脚本\ntextmsg("hello")","timeout_ms":5000}
    WebScope调用 WebScope 应用方法请调用机械臂 MCP 工具“调用 WebScope 应用方法”（webscope_call_app_method），参数：{"ip":"172.18.5.240","methodName":"refreshRobotState","params":
    WebScope跳转 WebScope 页面打开 WebScope 设置页面的网络菜单

  2. 使用限制：

    智能助手仅支持和机器人操作相关的提问（支持的提问范围见“智能助手支持的提问”），和机器人无关的内容只会回复默认答案（如：常州今天的降雨量是多少？机器人默认回复“这个问题有点难到我了..........”）。

5 异常处理及注意事项 ​

  1. 当导入升级包并运行补丁包后，示教器主界面右上角没有显示“商店”按钮，则可重启示教器进行解决。
  2. teachagenthub 和 AUBO MCP 这两个插件安装成功后，在有线示教器页面的侧边栏不会显示“助手”按钮，需用平板切换到无线连接方式后进行智能助手的使用。
  3. 涉及机械臂上电以及运动的指令执行，在下达指令前需确保机械臂四周无人员走动，无障碍物阻挡在机械臂的运行路径上，在必要时及时按下急停按钮以防发生意外。