关于ACT模型使用时的注意点和部署调试方法

张开发
2026/4/10 22:26:29 15 分钟阅读
关于ACT模型使用时的注意点和部署调试方法
目录1.模型训练的输入图像必须是RGB格式2.训练数据中需要处理action的数据3.通过输入训练数据中的qpos和image来验证推理的代码是否正确4.通过提前录入一组未在训练集中的数据作为模型输入,观察输入的action和预测的action曲线5.模型推理后根据情况执行多少步,而不是全部chunk_size步1.模型训练的输入图像必须是RGB格式在模型训练中因为图像处理的网络基本都是处理的RGB格式的图像,但是某些数据集中存储的图像格式可能时BGR的,需要注意转换。并且在模型部署阶段,如通过Opencv获取Realsense的图像就是BGR的,在送入模型推理之前需要将其转为RGB的2.训练数据中需要处理action的数据action是下一帧qpos,因此所有数据长度减 1(qpos和image舍弃最后一帧,action为qpose第二帧到最后)

更多文章