AI Gallery AdaptSegNet算法使用介绍

下面是对ModelArts AI Gallery算法AdaptSegNet （以下简称为本算法）的使用介绍。

本算法使用带有标签的GTAV和SYNTHIA数据集和不带标签的Cityscapes的train上训练，在Cityscapes高质量标注数据集的val中测试。代码结构如下：

src
|- pre-trained_weights
    |- DeepLab_resnet_pretrained_init-f81d91e8.pth #预训练模型可以在http://vllab.ucmerced.edu/ytsai/CVPR18/DeepLab_resnet_pretrained_init-f81d91e8.pth下载
|- trained_model
    |- model
        |- config.json
        |- customize_service.py
        |- GTA5_best.pth
        |- ... #customize_service.py需要的文件
|- model # 构造resnet和deeplab-v2等文件
    |- cityscapes_fast_scnn.yaml
    |- ...
|- dataset # 数据集加载文件
    |- ...
|- utils # 损失函数等文件
     |- ...
|- train.py # 执行训练
|- evaluate.py # 在验证集上验证，输出伪彩色结果图像和评估结果

dataset #源域、目标域数据集等需要传入modelarts的数据都应放在该目录
|- GTA5
|- RAND_CITYSCAPES
|- Cityscapes

1、准备数据集

本算法支持源域为GTAV和SYNTHIA数据集，目标域为Cityscape数据集。

1.1下载数据集

1、GTAV数据集

可点此链接 ，下载Images和Labels，如下图所示：

并将下载好的文件，按照如下的方式其构建目录：

dataset
|- GTA5
     |- images
          |- ...
     |- labels
          |- ...

2、RAND_CITYSCAPES数据集

可点此链接 ，下载Images和Labels，如下图所示：

并将下载好的文件，按照如下的方式其构建目录：

dataset
|- RAND_CITYSCAPES
     |- GT
          |- ...
     |- RGB
          |- ...

3、Cityscape数据集

可点此链接 下载gtFine_trainvaltest.zip 和 leftImg8bit_trainvaltest.zip 两个文件。

并将下载好的文件，按照如下的方式其构建目录：

dataset
|- Cityscapes
     |- data
          |- gtFine
               |- test
               |- train
               |- val
          |- leftImg8bit
               |- test
               |- train
               |- val

可以通过点击链接 提取码：123123 下载打包好的数据集，或者参照相应的数据集结构和得到三个数据集的list信息。

总的数据集结构

dataset
|- Cityscapes
     |- data
          |- gtFine
               |- test
               |- train
               |- val
          |- leftImg8bit
               |- test
               |- train
               |- val
|- RAND_CITYSCAPES
     |- GT
          |- ...
     |- RGB
          |- ...
|- GTA5
     |- images
          |- ...
     |- labels
          |- ...
|- dataset #每个txt记录需要读取的数据名字
     |- syn_list
          |- synlist.txt
     |- gta5_list
          |- train.txt
     |- cityscapes_list
          |- label.txt
          |- train.txt
          |- val.txt

安装OBS Browser+并上传数据集

ModelArts使用对象存储服务（OBS）来存储数据，实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务（Object Storage Service，OBS）的图形化工具，支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理，例如：创建桶、上传下载文件、浏览文件等。

具体操作步骤如下：
（1）点此下载 OBS Browser+，下载完成后解压缩，双击exe进行安装，安装完成后运行；

（2）登录界面如下图所示，需要您填写账号名、Access Key ID（AK）和Secret Accsee Key（SK），参考此文档 ，获取AK和SK，华为云上的许多产品都需要用到访问密钥，请妥善保存该密钥文件，然后参考下图填写您的华为云账号名及刚获取的AK和SK，点击登录；

(3）参考下图，点击“创建桶”，输入桶名称，注意：区域要选择华北-北京四、标准存储、私有、关闭多AZ，桶名需自定义，OBS桶名要全局唯一，如提示桶名已存在，则需要您修改为其他名称，比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同，如在下文的操作指导中看到paper-reproduction-01，请主动将桶名替换为您自己的桶名，下文将不再进行提示；

（4）点击桶名称，进入到桶中，点击“新建文件夹”，输入文件夹名称，如“train_input”，点击进入文件夹，再新建“datasets”，点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包（之所以选压缩包格式是因为如果数据集比较大，上传压缩包比上传文件夹快很多） –> 确定，如下图所示；

（5）点击OBS Browser+左侧的“任务管理”，可查看数据上传进度。如下图所示，点击设置，在基础设置中，设置最大并发数为最大值50，可以加快数据上传速度

2、 订阅本算法

点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮，再点击【确认付款】按钮，最后点击【确定】按钮进入我的订阅页面，可以看到刚刚订阅的算法。点击【应用控制台】超链接，选择华北-北京四区域，进入算法管理页面。

如下图所示，点击“同步”按钮，同步算法，可以点击刷新按钮，刷新状态。当状态变成就绪时，表示同步成功。

3. 创建训练作业

点击上图中的“创建训练作业”，按照下表填写训练作业参数：

点击下一步，提交，训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。

4. 模型导入

您可以将训练作业的结果导入至ModelArts模型管理。在训练作业那里点“创建模型”就可以导入模型了。具体操作如下：

（1）在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”，点击右侧页面中的“导入”。在导入模型页面填写名称，选择元模型来源，可以直接从训练中选择，也可以从OBS中选择。如果是从OBS中选择，则需要选择到model目录的上一级目录；如下图所示：

（2）点击“立即创建”，需要一点时间来等待模型导入和构建，当模型版本状态为“正常”后，即表示模型导入成功。

5. 创建在线服务

在ModelArts上，可以将模型部署为在线服务，然后上传图片进行预测，最终会产生base64形式的预测结果，通过base64->image 观察预测结果。

部署为在线服务具体步骤如下：

（1）在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”，然后点击页面中的“部署”；

（2）在部署页面填写参数，其中在“模型列表”选择要导入的模型及版本，计算节点规格选择CPU（在modelarts上由于规格限制，至少需要8*CPU）即可；

6.模型评估

将模型的eval参数设置为True，需要注意的是如果选择自己的测试集，需要将自己的测试集放在xx/leftImg8bit/val/下，并以xxxx_leftImg8bit.png命名，如果有对应的ground truth需要将其放在xx/gtFine/val/下，应和原图的xxxx应该相同，并xxxx_gtFine_color.png命名。传入参数data_dir_target应写为：xx/leftImg8bit/val。而xx应属于data_url的目录下，即：

|-data_url
    |-xx
      |-leftImg8bit
          |-val
              |-xxxx_leftImg8bit.png
      |-gtFine
          |-val
              |-xxxx_gtFine_color.png

接下来参考本文第2节中的步骤，创建“训练作业”，按照下表设置训练参数：

点击下一步，提交，训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后，在上表中指定的“模型输出”路径/output/下会自动生成xxxx_result.txt和分割出的图片。
模型评估支持以下三种输入情况：
a) 创建训练作业时指定的数据存储位置data_url目录下，如果同时有图片和ground_truth，则模型评估过程输出pred_result目录和eval_result.txt文件，前者存放所有图片的预测结果，后者存放模型评估的精度指标；
b) 创建训练作业时指定的数据存储位置data_url目录下，如果只有图片，则模型评估过程输出pred_result目录，存放所有图片的预测结果；
c) 创建训练作业时指定的数据存储位置data_url目录下，如果没有图片，则模型评估过程报错；