|-config.yaml配置文件
	|-log.txt日志文件
	|-model
		|-customize_service.py#用于部署在线服务、批量服务
		|-model_final.pth#用户训练得到的模型参数
		|-config.json#配置文件
		|-...

|-eval_result.txt#评估结果，只有用户上传的数据集包括groundtruth才会有这个文件
|-pred_results;预测影像文件夹
	|-frankfurt_000000_000294_leftImg8bit.png
	|-frankfurt_000000_000576_leftImg8bit.png
	|-...

<h1><a id="PointRendPytorch_0"></a>PointRend（图像分割/Pytorch）</h1> <h2><a id="1_1"></a>1.概述</h2> <p>此模型基于PointRend: Image Segmentation as Rendering中提出的模型结构实现，该算法会载入在Cityscape上的预训练模型，在用户数据集上做迁移学习。我们提供了训练代码和可用于训练的模型，用于实际场景的微调训练。训练后生成的模型可直接在ModelArts平台部署成在线服务。<br /> 图像分割的评估手段一般使用AP，详细说明请参考：https://github.com/mcordts/cityscapesScripts#evaluation<br /> 本算法的其他信息如下表所示：</p> <table> <thead> <tr> <th>项目</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td>参考论文</td> <td>PointRend: Image Segmentation as Rendering</td> </tr> <tr> <td>使用框架</td> <td>Pytorch1.4.0</td> </tr> <tr> <td>训练集</td> <td>Cityscapes leftImg8bit_trainvaltest.zip中的train</td> </tr> <tr> <td>epoch</td> <td>65（通过控制maxiter*batchsize/nums of pictures</td> </tr> <tr> <td>batchsize</td> <td>8，对应config文件夹下的yaml中IMS_PER_BATCH</td> </tr> <tr> <td>训练硬件及耗时</td> <td>1*v100，12小时</td> </tr> <tr> <td>测试集</td> <td>Cityscapes leftImg8bit_trainvaltest.zip中的test</td> </tr> <tr> <td>推理硬件及速度</td> <td>CPU，1.85s/pic</td> </tr> <tr> <td>输入图像尺寸</td> <td>1024*2048，3通道</td> </tr> <tr> <td>原论文AP</td> <td>AP=35.8</td> </tr> <tr> <td>本算法AP</td> <td>AP=36.272</td> </tr> </tbody> </table> <h2><a id="2_20"></a>2.训练</h2> <h3><a id="21_21"></a>2.1算法基本信息</h3> <ul> <li>任务类型：图像分割</li> <li>支持的框架引擎：PyTorch-1.4.0-python3.6</li> <li>算法输入： <ul> <li>存储在OBS上的数据集，必须按照Cityscape数据集的格式进行存储，详情请查看下文第4节案例指导</li> <li>Cityscape预训练模型，在Cityscape上的AP是36.2728</li> </ul> </li> <li>算法输出 <ul> <li>用于Pytorch推理的pth模型，CPU推理速度：1.85s/pic</li> </ul> </li> <li>代码结构<br /> PointRend<br /> |-configs#配置文件，包括其他数据集<br /> |-InstanceSegmentation<br /> |-…<br /> |-SemanticSegmentation<br /> |-…<br /> |-Base-RCNN-FPN.yaml<br /> |-datasets#此文件夹为空，上传数据集时会自动同步至云端本目录<br /> |-detectron2#开源包<br /> |-…<br /> |-inputimage#空文件夹，用于运行demo.py时自动同步待预测的影像<br /> |-model#用于部署在线服务、批量服务<br /> |-customize_service.py#用于部署在线服务、批量服务<br /> |-iteration_24000_mAP_36.3.pth#最优模型参数<br /> |-config.json#配置文件<br /> |-…<br /> |-output#空文件夹，训练和评估时暂存模型结果，最后会同步至obs<br /> |-outputimage#空文件夹，运行demo.py时暂存输出影像，同步obs<br /> |-point_rend#模型其他包<br /> |-…<br /> |-pre-trained_weights#预训练参数<br /> |R-50.pkl<br /> |-config.json<br /> |-demo.py#预测整个文件夹的影像<br /> |-matches.json#预测整个文件夹影像的json结果文件<br /> |-pip-requirements.txt<br /> |-train_net.py#包括train和eval<br /> |-detectron2-0.3+cu102-cp36-cp36m-linux_x86_64.whl#detectron2包<br /> ###2.2参数说明</li> </ul> <table> <thead> <tr> <th>名称</th> <th>默认值</th> <th>类型</th> <th>是否必填</th> <th>是否可修改</th> <th>描述说明</th> </tr> </thead> <tbody> <tr> <td>config-file</td> <td>configs/InstanceSegmentation/pointrend_rcnn_R_50_FPN_1x_cityscapes.yaml</td> <td>string</td> <td>是</td> <td>是</td> <td>配置文件路径，不配置时，默认路径为本算法代码内的路径</td> </tr> <tr> <td>eval-only</td> <td>0</td> <td>int</td> <td>否</td> <td>是</td> <td>训练时设置值为0，评估时设置值为1</td> </tr> <tr> <td>MODELWEIGHTS</td> <td>modelweight/model_final.pth</td> <td>string</td> <td>否</td> <td>是</td> <td>仅仅评估时才需要这个参数并设置值为默认值</td> </tr> <tr> <td>maxiter</td> <td>2400</td> <td>int</td> <td>否</td> <td>是</td> <td>最大迭代次数，可以控制epoch=maxiter*batchsize/影像总数</td> </tr> <tr> <td>batchsize</td> <td>8</td> <td>int</td> <td>否</td> <td>是</td> <td>批大小</td> </tr> <tr> <td>num-gpus</td> <td>1</td> <td>int</td> <td>否</td> <td>是</td> <td>gpu的数目</td> </tr> </tbody> </table> <p>注意：<br /> eval参数有以下两种取值：<br /> （1）0，本算法执行模型训练过程；<br /> （2）1，本算法加载load_weight参数指定的模型，然后执行模型评估过程。<br /> 模型评估需要支持以下三种输入情况：2a) 创建训练作业时指定的数据存储位置data_url目录下，如果同时有图片和ground_truth，则模型评估过程输出pred_results目录和eval_result.txt文件，前者存放所有图片的预测结果，后者存放模型评估的精度指标；<br /> 2b) 创建训练作业时指定的数据存储位置data_url目录下，如果只有图片，则模型评估过程输出pred_results目录，存放所有图片的预测结果；<br /> 2c) 创建训练作业时指定的数据存储位置data_url目录下，如果没有图片，则模型评估过程报错；<br /> MODELWEIGHTS参数有以下两种取值：<br /> （1）固定的默认路径，默认加载本算法源码目录中的modelweight/model_final.pth继续训练，加载成功会打印日志；<br /> （2）可变的OBS路径，用户可指定OBS上的一个模型文件路径，然后本算法会加载该模型继续训练，加载成功会打印日志。<br /> ##2.3. 训练输出文件<br /> 当仅添加config-file并设置为configs/InstanceSegmentation/pointrend_rcnn_R_50_FPN_1x_cityscapes.yaml时为训练（此路径也支持用户的obs路径），训练完成后会输出可部署的model文件夹以及config.yaml、log.txt，文件结构如下：</p> <pre><code> |-config.yaml配置文件 |-log.txt日志文件 |-model |-customize_service.py#用于部署在线服务、批量服务 |-model_final.pth#用户训练得到的模型参数 |-config.json#配置文件 |-... </code></pre> <p>除config-file之外，如果添加超参数eval-only并设置为True,且添加超参数MODELWEIGHTS并设置为model/iteration_24000_mAP_36.3.pth（此路径也支持用户的obs路径）输出文件如下（pred_results和eval_result.txt都保存在指定的训练输出OBS目录下）：</p> <pre><code>|-eval_result.txt#评估结果，只有用户上传的数据集包括groundtruth才会有这个文件 |-pred_results;预测影像文件夹 |-frankfurt_000000_000294_leftImg8bit.png |-frankfurt_000000_000576_leftImg8bit.png |-... </code></pre> <p>#3. GPU/CPU推理<br /> 元模型来源 选择 从训练中选择，选择训练作业及版本。<br /> 注意：推理配置文件config.json中的runtime字段为pytorch1.4-python3.7，表示该模型可同时在CPU或GPU运行。<br /> #4. 案例指导<br /> 本算法的详细使用方法，请查看<a href="https://marketplace.huaweicloud.com/markets/aihub/article/detail/?content_id=4f5b4722-6a56-47c3-a536-ff853a3feba6" target="_blank">《ModelArts AI Gallery算法PointRend使用指导》</a>。</p>