|- model
	|- segmentron
 		|- ...
 	|- config.yaml # 模型配置文件，和训练使用的配置文件一致；自定义配置文件可参考该文件
 	|- config.json
 	|- customize_service.py
 	|- best_model.pth
|- xxxx.pth
|- xxxx.pth
|- ...

|- model
	|- segmentron
 		|-...
 	|- config.yaml
 	|- config.json
 	|- customize_service.py
 	|- best_model.pth
|- eval_results
 	|- eval_results.txt
 	|- frankfurt_000000_000294_leftImg8bit.png
 	|- frankfurt_000000_000576_leftImg8bit.png
 	|- ...
 	|- ...

<h2><a id="FastSCNNPytorch_0"></a>Fast-SCNN（图像分割/Pytorch）</h2> <h2><a id="1__2"></a>1. 概述</h2> <p>此模型基于<a href="https://arxiv.org/abs/1902.04502" target="_blank">Fast-SCNN: Fast Semantic Segmentation Network</a>中提出的模型结构实现，该算法会载入在<a href="https://www.cityscapes-dataset.com/" target="_blank">Cityscape</a>上的预训练模型，在用户数据集上做迁移学习。我们提供了训练代码和可用于训练的模型，用于实际场景的微调训练。训练后生成的模型可直接在ModelArts平台部署成在线服务。</p> <p>图像分割的评估手段一般使用mIOU指标，详细说明请参考：<a href="https://github.com/mcordts/cityscapesScripts#evaluation" target="_blank">https://github.com/mcordts/cityscapesScripts#evaluation</a></p> <p>本算法的其他信息如下表所示：</p> <table> <thead> <tr> <th>项目</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td>参考论文</td> <td>Fast-SCNN: Fast Semantic Segmentation Network</td> </tr> <tr> <td>使用框架</td> <td>Pytorch-1.4.0</td> </tr> <tr> <td>训练集</td> <td>Cityscapes leftImg8bit_trainvaltest.zip中的train set</td> </tr> <tr> <td>训练总epoch数</td> <td>1200</td> </tr> <tr> <td>训练batch_size</td> <td>使用6卡训练，每张卡TRAIN_BATCH_SIZE = 2，相当于总batch_size为12</td> </tr> <tr> <td>训练硬件及耗时</td> <td>6*v100，11.7小时</td> </tr> <tr> <td>测试集</td> <td>Cityscapes leftImg8bit_trainvaltest.zip中的test set</td> </tr> <tr> <td>推理硬件及速度</td> <td>CPU，2.6s/pic</td> </tr> <tr> <td>输入图像尺寸</td> <td>1024*2048*3</td> </tr> <tr> <td>原论文准确率</td> <td>mIOU=68.62</td> </tr> <tr> <td>本算法准确率</td> <td>mIOU=68.668</td> </tr> </tbody> </table> <h2><a id="2_24"></a>2、训练</h2> <h3><a id="21__26"></a>2.1. 算法基本信息</h3> <ul> <li> <p>任务类型：图像分割</p> </li> <li> <p>支持的框架引擎：PyTorch-1.4.0-python3.6</p> </li> <li> <p>算法输入：</p> <ul> <li>存储在OBS上的数据集，必须按照Cityscape数据集的格式进行存储，详情请查看下文第4节案例指导</li> <li>Cityscape预训练模型，在Cityscape上的mIOU是68.668</li> </ul> </li> <li> <p>算法输出：</p> <ul> <li>用于Pytorch推理的pth模型，CPU推理速度：2.6s/pic</li> </ul> </li> <li> <p>代码结构</p> <pre><code class="lang-">src |- pre-trained_weights |- Fast-SCNN无预训练模型，此文件夹为空 |- trained_model |- model |- segmentron |- ... |- config.yaml |- config.json |- customize_service.py |- best_model.pth |- configs # 配置文件，包含除fast-scnn外的其他算法 |- cityscapes_fast_scnn.yaml |- ... |- segmentron # 开源包、模型构建、数据集加载等文件 |- ... |- tools |- train.py # 执行训练 |- eval.py # 在验证集上验证，输出伪彩色结果图像和评估结果 |- eval_txt.py # 在验证集上验证，输出结果保存为txt |- run.py # 启动文件，根据超参数启动train或eval |- demo.py </code></pre> </li> </ul> <h3><a id="22__72"></a>2.2. 训练参数说明</h3> <table> <thead> <tr> <th>名称</th> <th>默认值</th> <th>类型</th> <th>是否必填</th> <th>是否可修改</th> <th>描述</th> </tr> </thead> <tbody> <tr> <td>num_nodes</td> <td>1</td> <td>int</td> <td>是</td> <td>是</td> <td>训练使用 GPU 数</td> </tr> <tr> <td>cuda_visiable</td> <td>0</td> <td>string</td> <td>是</td> <td>是</td> <td>GPU 编号，如果选择多卡，则需要按照“0,1,2,3”的格式填写</td> </tr> <tr> <td>config_file</td> <td>configs/cityscapes_fast_scnn.yaml</td> <td>string</td> <td>否</td> <td>是</td> <td>配置文件路径，支持配置为OBS上的某个路径，不配置时，默认路径为本算法代码内的路径</td> </tr> <tr> <td>train_epochs</td> <td>10</td> <td>int</td> <td>是</td> <td>是</td> <td>总训练轮数（cityscape数据集上建议设置为1000以上）；设置为0时，不进行训练，直接将本算法mIOU达到68.668的模型保存到输出路径。</td> </tr> <tr> <td>train_batch_size</td> <td>12</td> <td>int</td> <td>是</td> <td>是</td> <td>训练时每块GPU指定的图片数（例如默认使用单卡时设置为12,而使用6卡时应当设置为2以保证总batchsize=2*6=12）。</td> </tr> <tr> <td>solver_lr</td> <td>0.045</td> <td>string</td> <td>否</td> <td>是</td> <td>base 学习率</td> </tr> <tr> <td>solver_aux</td> <td>True</td> <td>string</td> <td>否</td> <td>是</td> <td>是否使用辅助训练</td> </tr> <tr> <td>solver_aux_weight</td> <td>0.4</td> <td>string</td> <td>否</td> <td>是</td> <td>辅助训练权重</td> </tr> <tr> <td>load_weight</td> <td>trained_model/model/best_model.pth</td> <td>string</td> <td>否</td> <td>是</td> <td>pth模型文件路径，支持加载OBS上的pth模型进行训练，默认路径时支持加载本算法达到mIOU=68.668的模型作为初始化参数；支持设置为中间过程保存的模型进行断点续训；设置为None时直接进行训练（train from scratch）.</td> </tr> <tr> <td>eval</td> <td>False</td> <td>string</td> <td>否</td> <td>是</td> <td>是否进行模型评估，默认为False，如果设为True，则必须设定load_weight参数，加载指定的pth模型，在创建训练作业时指定的数据存储位置验证集上进行预测，所有预测结果pred_results及模型评估结果eval_result.txt将保存到创建训练作业时指定的训练输出位置上</td> </tr> </tbody> </table> <p>注1：设置load_weight时，支持两种保存形式的模型</p> <ul> <li> <pre><code class="lang-">训练完成后保存的最佳模型best_model.pth，只保存模型参数 |- learning_to_downsample.conv.conv.weight |- ... |- learning_to_downsample.conv.bn.weight |- ... |- learning_to_downsample.conv.bn.bias |- ... |- learning_to_downsample.conv.bn.running_mean |- ... |- learning_to_downsample.conv.bn.running_mean |- ... |- learning_to_downsample.conv.bn.num_batches_tracked |- ... |- ... </code></pre> </li> <li> <pre><code class="lang-">中间过程保存的模型，除模型参数外，保存优化器、学习率、epoch等参数； 例如 2.pth |- epoch # 此模型文件保存时已训练的epoch数 |- state_dict # 模型参数，与上文best_model.pth结构一致 |-... |- optimizer # 优化器参数 |- lr_scheduler # 学习率参数（包含学习率衰减） 加载该模型时，会从该模型所属的epoch开始训练，设置的epoch数应与原来一致。 例如：2.pth为某次总epoch数为10时训练过程中第2个epoch保存的模型，则load_weight设置为2.pth时，训练将从第2个epoch开始，且此时epoch也应设置为10。该功能用于断点续训。 </code></pre> </li> </ul> <p>注2：自定义config文件时，可先设定epoch为0将本算法model文件夹保存至自己的OBS，然后按照该文件夹里的config.yaml格式进行编写。其中TEST.TEST_MODEL_PATH请设置为’./best_model.pth’用于部署。</p> <h3><a id="23__123"></a>2.3. 训练输出文件</h3> <p>训练完成后的输出文件如下：</p> <pre><code class="lang-">|- model |- segmentron |- ... |- config.yaml # 模型配置文件，和训练使用的配置文件一致；自定义配置文件可参考该文件 |- config.json |- customize_service.py |- best_model.pth |- xxxx.pth |- xxxx.pth |- ... </code></pre> <p>如果设置eval为True，输出文件如下：</p> <pre><code class="lang-">|- model |- segmentron |-... |- config.yaml |- config.json |- customize_service.py |- best_model.pth |- eval_results |- eval_results.txt |- frankfurt_000000_000294_leftImg8bit.png |- frankfurt_000000_000576_leftImg8bit.png |- ... |- ... </code></pre> <h2><a id="3_GPUCPU_160"></a>3. GPU/CPU推理</h2> <p>元模型来源 选择 从训练中选择，选择训练作业及版本。</p> <p><strong>注意</strong>：推理配置文件model/config.json中的runtime字段为pytorch1.4-python3.7，表示该模型可同时在CPU或GPU运行。</p> <h2><a id="4__166"></a>4. 案例指导</h2> <p>本算法的详细使用方法，请查看<a href="https://marketplace.huaweicloud.com/markets/aihub/article/detail/?content_id=fcea3af6-fbdc-4750-aefa-4b350229cd6f" target="_blank">《ModelArts AI Gallery算法Fast-SCNN使用指导》</a>。</p>