目录
《项目简介》
一、B站视频参考(推荐)
二、确定两个usb相机的端口号
三、远程操作(带相机)
四、遇到问题
《项目简介》
项目地址:GitHub - huggingface/lerobot: 🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning
进入 full tutorial for SO-100,按照流程操作
一、B站视频参考(推荐)
强力推荐UP主:黑狗木
lerobot aloha 采集数据并且训练https://www.bilibili.com/video/BV1aSUFYJE4P/?spm_id_from=333.1387.homepage.video_card.click&vd_source=27c7aca66453fbf427614cc52d0f156a
二、确定两个usb相机的端口号
前提准备:同时插上两个usb相机(一个插在笔记本、一个插在拓展坞,最后会解释为什么)
1、运行以下代码后,会识别出两个端口号video2、video0,同时,文件夹内也会拍摄有图片
python lerobot/common/robot_devices/cameras/opencv.py --images-dir outputs/images_from_opencv_cameras
2、根据拍摄的图片和其对应的名字,就能确定哪个相机对应哪个端口号
3、修改配置文件,将so100.yaml文件对应的相机端口号填好
注:配置文件已定义好两个相机的端口号
laptop的端口号为/dev/video0
phone的端口号为/dev/video2
为了方便以后的操作,布置硬件的时候,先插laptop相机的usb,再插phone相机的usb
三、远程操作(带相机)
输入命令后,主臂会遥控从臂同步动作,并且能够调用两个相机
python lerobot/scripts/control_robot.py teleoperate \--robot-path lerobot/configs/robot/so100.yaml
四、遇到问题
- 问题:两个usb相机都插到同一个拓展坞,输入指令python lerobot/common/robot_devices/cameras/opencv.py --images-dir outputs/images_from_opencv_cameras时,出现如下报错,并不能拍摄
- 解决:两个usb相机,一个插在笔记本、一个插在拓展坞即可