基于mmdet3d复现bevfusion

提示文章写完后目录可以自动生成如何生成可参考右边的帮助文档文章目录前言一、环境配置二、数据集nuscenes三、训练和推理参考前言bevfusion已经有一些年头了所以最好安装低版本的环境避免遇到很多环境不适配的问题我复现的CUDA版本是11.8大家自行安装就行把对应的环境变量配置好就ok。提示以下是本篇文章正文内容下面案例可供参考一、环境配置创建虚拟环境并激活conda create-nbevfusionpython3.8conda activate bevfusion安装pytorch:condainstallpytorch2.1.1torchvision0.16.1torchaudio2.1.1 pytorch-cuda11.8-cpytorch-cnvidia安装mmdet3d:pipinstallopenmimgitclone https://github.com/open-mmlab/mmdetection3d.git-bv1.3.0cdmmdetection3d pipinstall-v-e.安装 cumm 和 spconvpipinstallcumm-cu118 pipinstallspconv-cu118配置 mmdet3d中的BEVFusion:python projects/BEVFusion/setup.py develop安装其他依赖:pipinstallmmengine pipinstallmmcv2.1.0-fhttps://download.openmmlab.com/mmcv/dist/cu118/torch2.1/index.html pipinstallmmdet3.2.0二、数据集nuscenes链接https://www.nuscenes.org/download我这里是简单跑一个推理就下载了一个mini的数据集具体根据自己需求进行下载。解压数据集解压之后的数据结构如下然后对数据集进行处理具体路径根据自己的修改如果是mini数据集mmdet3d/datasets/nuscenes_dataset.py文件中的v1.0-trainval改成v1.0-minipython tools/create_data.py nuscenes --root-path ./data/nuscenes--versionv1.0-mini --out-dir ./data/nuscenes --extra-tag nuscenes处理之后的数据结构如下生成了一些pkl文件三、训练和推理1.训练这里训练代码里面的8代表8卡没有多GPU就设置为1首先单独训练雷达bashtools/dist_train.py projects/BEVFusion/configs/bevfusion_lidar_voxel0075_second_secfpn_8xb4-cyclic-20e_nus-3d.py8然后训练激光雷达-摄像头融合模型bashtools/dist_train.sh projects/BEVFusion/configs/bevfusion_lidar-cam_voxel0075_second_secfpn_8xb4-cyclic-20e_nus-3d.py8--cfg-optionsload_from${LIDAR_PRETRAINED_CHECKPOINT}model.img_backbone.init_cfg.checkpoint${IMAGE_PRETRAINED_BACKBONE}注意具体路径自己修改一下预训练权重自己下载我这里没有训练不清楚是否有问题预训练模型https://github.com/open-mmlab/mmdetection3d/blob/main/projects/BEVFusion/README.md2.推理权重文件下载https://github.com/open-mmlab/mmdetection3d/blob/main/projects/BEVFusion/README.md推理命令bashtools/dist_test.sh projects/BEVFusion/configs/bevfusion_lidar-cam_voxel0075_second_secfpn_8xb4-cyclic-20e_nus-3d.py /data/mmdetection3d/bevfusion_lidar-cam_voxel0075_second_secfpn_8xb4-cyclic-20e_nus-3d-5239b1af.pth1参考mmdet3d工具箱https://github.com/open-mmlab/mmdetection3d/blob/main/projects/BEVFusion/README.mdblog:https://blog.csdn.net/weixin_50893711/article/details/149501209