论文学习
[华为云AI经典论文复现] DynamicRCNN使用教程 DynamicRCNN目标检测网络使用教程

发布于42个月以前

  • 0
  • 0
  • 505

发布于42个月以前

ModelArts AI Gallery算法DynamicRCNN使用指导

本文档是ModelArts AI Gallery算法DynamicRCNN的详细使用方法。

本算法使用MS Coco高质量标注数据集中的trian2017数据集上训练,在val2017和test-dev2017数据集上进行测试,在test-dev2017数据集上达到了mAP=49.2的准确率。

1. 准备数据集

本算法支持的数据集格式为MS Coco数据集。MS COCO通过大量使用Amazon Mechanical Turk来收集数据, MS COCO的全称是Microsoft Common Objects in Context,起源于微软于2014年出资标注的Microsoft COCO数据集,与ImageNet竞赛一样,被视为是计算机视觉领域最受关注和最权威的比赛之一。 
        COCO数据集是一个大型的、丰富的物体检测,分割和字幕数据集。这个数据集以scene understanding为目标,主要从复杂的日常场景中截取,图像中的目标通过精确的segmentation进行位置的标定。图像包括91类目标,328,000影像和2,500,000个label。目前为止有语义分割的最大数据集,提供的类别有80 类,有超过33 万张图片,其中20 万张有标注,整个数据集中个体的数目超过150 万个。

1.1 下载数据集

可点击此链接下载2017 Train images、2017 val images、2017 test images和Train/Val annotations文件如下图所示:

image.png

下载好之后,需要根据算法要求整理成下述的目录结构:

如果是使用模型的训练(train)模式则:

|train.json #该文件为annotation标记文件,需要将名字更改为train.json,比如如果使用train_2017_annotations.json这个标记文件,需要将其改为train.json

|-train #该目录下存放训练图片,目录名称必须为train,该文件夹下的图片在train.json中都有相对应的图片信息和标记信息

    |xxx.jpg

    |xxx.jpg

    |....

如果是使用模型的测试(test)模式则:

|test.json #该文件为annotations标记文件,需要将名字改为test.json,要求与train.json一致

|-test #该目录下存放测试图片,目录名称必须为test,该文件夹下的图片在test.json中都有与之对应的图片信息,如果test.json中也有标记信息,则会计算预测结果的mAP评测指标。

    |xxx.jpg

    |xxx.jpg

    |....

1.2 安装OBS Browser+并上传数据集

ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。

具体操作步骤如下:
(1)点此下载OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行;

(2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考此文档,获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录;

image.png

3)参考下图,点击“创建桶”,输入桶名称,注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为blb-paper。您设置的桶名必须与此不同,如在下文的操作指导中看到blb-paper,请主动将桶名替换为您自己的桶名,下文将不再进行提示;

image.png

4)点击桶名称,进入到桶中,新建文件夹,上传自己已经整理好的训练与测试文件。

image.png

(5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度

image.png

2. 订阅本算法

点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。

如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。

image.png

3. 创建训练作业

点击上图的创建训练作业、按照下表填写参数

参数名 参数值
算法名称 默认即可,无需修改
数据来源 数据存储位置,选择obs://blb-paper/coco-2017/finalcoco/(需要更改为你自己的OBS路径)
模型输出 选择路径,obs://blb-paper/train_output/(需要更改为你自己的OBS路径)
training_iter 1000
num_gpus 8
eval False
check_period 200
load_weight std
作业日志路径

obs://blb-paper/modelartsLog/

资源池 公共资源池
规格 modelarts.bm.gpu.v100.2,可以根据需求选择
计算节点个数 1

点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。

4. 模型导入

准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下:

(1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://blb-paper/modelartsRes/,如下图所示:

image.png

注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。

(2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。

5. 创建在线服务

在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。

部署为在线服务具体步骤如下:

(1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”;

(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,计算节点规格选择GPU:1*T4;

image.png

3)点击“下一步”,参数确认无误后,点击“提交”。

提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。

6. 创建批量服务

在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。

部署为批量服务具体步骤如下:

(1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”;

(2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,填写输入数据目录和输出数据目录,计算节点规格选择“GPU:1*p4”,计算节点个数设为1;

image.png

(3)点击“下一步”,参数确认无误后,点击“提交”。

提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。

7. 模型评估

参考本文第2节中的步骤,创建“训练作业”,按照下表设置训练参数:

参数名 参数值
算法名称 默认即可,无需修改
数据来源 数据存储位置,选择obs://blb-paper/coco-2017/finalcoco/(需要更改为你自己的OBS路径)
模型输出 选择路径,obs://blb-paper/train_output/(需要更改为你自己的OBS路径)
training_iter 默认即可,测试模式该参数无效
num_gpus 1
eval True
check_period 默认即可,测试模式该参数无效
load_weight obs://blb-paper/train_output/model/final_model.pth(需要更改为你自己的OBS路径)
作业日志路径

obs://blb-paper/modelartsLog/(需要更改为你自己的OBS路径)

资源池 公共资源池
规格 modelarts.p3.large.ex,测试模式下选择单卡即可,无需选择多卡
计算节点个数 1

点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成logs目录、inference目录和imgs目录,其中inference目录中是所有图片的预测结果bbox文件,imgs是所有图片的预测结果。

评论 0

登录后评论

    euuufe

    作者相关内容

    2021第三届华为云人工智能大赛无人车挑战杯学习资料
    发布于44个月以前
    华为云AI论文精读会2021第二十期:轻量化神经网络MobileNet系列论文精读
    发布于41个月以前
    [华为云AI经典论文复现] AI Gallery CrowdDet算法使用介绍
    发布于42个月以前
    华为云AI论文精读会2021第四期:Dynamic RCNN:一种有效提升RCNN系列网络表现的动态训练方法
    发布于42个月以前
    华为云AI论文精读会2021第十九期:ACGAN-动漫头像生成
    发布于41个月以前

    暂无数据

    热门内容推荐

    快速体验10个精选论文复现算法模型,赢取蓝牙音箱、体脂秤、ModelArts图书!
    WAYNE 发布于44个月以前
    华为云AI论文精读会2021第二十期:轻量化神经网络MobileNet系列论文精读
    euuufe 发布于41个月以前
    [华为云AI经典论文复现] AI Gallery CrowdDet算法使用介绍
    euuufe 发布于42个月以前
    Fast-SCNN: Fast Semantic Segmentation Network
    spy 发布于44个月以前
    华为云AI论文精读会2021第四期:Dynamic RCNN:一种有效提升RCNN系列网络表现的动态训练方法
    euuufe 发布于42个月以前

    暂无数据