src
|- trained_model  # 用于在线服务部署
    |- model
         |- bert_config 
         |- val.tables.jsonl
         |- val.db
         |- config.json
         |- customize_service.py
         |- best_model.pth
         |- ...
|- model  # 模型定义和loss计算
|- sql_utils  # 数据处理和训练、推理用到的函数
|- annotate_ws.py # 执行数据预处理
|- train.py # 执行训练和验证集上的评估

|- model_best.pth  # 最佳模型参数
|- results_dev-xx.jsonl  # 第xx epoch训练结束后在开发集上的预测结果
|- xxx.log # 训练日志
|- model/ # 包含源码、best_model.pth等文件，可直接用于线上服务部署

|- pred_results.jsonl  # 在开发集上的预测结果
|- eval_xxx.log  # 在开发集上的评价结果

<h1><a id="MSQLPytorch_0"></a>M-SQL（Pytorch）</h1> <h2><a id="1__1"></a>1. 概述</h2> <p>此模型基于 <a href="https://ieeexplore.ieee.org/document/9020099" target="_blank">M-SQL: Multi-Task Representation Learning for Single-Table Text2sql Generation</a> 中提出的模型结构实现。我们提供了训练代码和可用于训练的模型，用于实际场景的微调训练。训练后生成的模型可直接在ModelArts平台部署成在线服务。</p> <p>本算法的其他信息如下表所示：</p> <table> <thead> <tr> <th>项目</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td>参考论文</td> <td>M-SQL</td> </tr> <tr> <td>使用框架</td> <td>Pytorch-1.6.0</td> </tr> <tr> <td>训练集</td> <td>TableQA中的训练集</td> </tr> <tr> <td>训练总epoch数</td> <td>20</td> </tr> <tr> <td>训练总step数</td> <td>25951</td> </tr> <tr> <td>训练batch_size</td> <td>32</td> </tr> <tr> <td>训练硬件及耗时</td> <td>1 x v100, 15小时</td> </tr> <tr> <td>测试集</td> <td>TableQA中的开发集的一半</td> </tr> <tr> <td>原论文准确率</td> <td>LX=89.13, EX=91.86, MX=90.50</td> </tr> <tr> <td>本算法准确率</td> <td>LX=88.53, EX=91.04, MX=89.79</td> </tr> </tbody> </table> <h2><a id="2_19"></a>2、训练</h2> <h3><a id="21__20"></a>2.1. 算法基本信息</h3> <table> <thead> <tr> <th>项目</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td>任务类型</td> <td>SQL语句生成</td> </tr> <tr> <td>支持的框架引擎</td> <td>PyTorch-1.6.0-python3.6</td> </tr> <tr> <td>算法输入</td> <td>问题,表格schema文件,数据库文件</td> </tr> <tr> <td>算法输出</td> <td>SQL,执行结果</td> </tr> </tbody> </table> <p>代码结构</p> <pre><code class="lang-">src |- trained_model # 用于在线服务部署 |- model |- bert_config |- val.tables.jsonl |- val.db |- config.json |- customize_service.py |- best_model.pth |- ... |- model # 模型定义和loss计算 |- sql_utils # 数据处理和训练、推理用到的函数 |- annotate_ws.py # 执行数据预处理 |- train.py # 执行训练和验证集上的评估 </code></pre> <h3><a id="22__48"></a>2.2. 训练参数说明</h3> <table> <thead> <tr> <th>名称</th> <th>默认值</th> <th>类型</th> <th>是否必填</th> <th>是否可修改</th> <th>描述</th> </tr> </thead> <tbody> <tr> <td>eval</td> <td>False</td> <td>string</td> <td>否</td> <td>是</td> <td>是否进行模型评估，默认为False，代表训练模式；True代表评估模式，必须设定load_weight参数，加载指定的pth模型，在创建训练作业时指定的数据存储位置验证集上进行预测，所有预测结果pred_results及模型评估结果eval_result.txt将保存到创建训练作业时指定的训练输出位置上</td> </tr> <tr> <td>no_save</td> <td>False</td> <td>string</td> <td>是</td> <td>是</td> <td>是否保存模型</td> </tr> <tr> <td>toy_model</td> <td>False</td> <td>string</td> <td>否</td> <td>是</td> <td>是否进行小数据上的测试实验</td> </tr> <tr> <td>toy_size</td> <td>16</td> <td>int</td> <td>否</td> <td>是</td> <td>小数据实验的数据个数</td> </tr> <tr> <td>tepoch</td> <td>15</td> <td>int</td> <td>否</td> <td>是</td> <td>最大训练epoch数</td> </tr> <tr> <td>print_per_step</td> <td>50</td> <td>int</td> <td>否</td> <td>是</td> <td>每隔多少步打印一次loss</td> </tr> <tr> <td>bS</td> <td>32</td> <td>string</td> <td>否</td> <td>是</td> <td>batch-size</td> </tr> <tr> <td>accumulate_gradients</td> <td>1</td> <td>int</td> <td>否</td> <td>是</td> <td>梯度累计大小，可以达到batch-size training的效果</td> </tr> <tr> <td>fine_tune</td> <td>False</td> <td>string</td> <td>否</td> <td>是</td> <td>是否微调bert模型</td> </tr> <tr> <td>data_url</td> <td>home/work/paper-reproduction-nlp-08/train_input/tableqa_tok_full/</td> <td>string</td> <td>是</td> <td>是</td> <td>预处理的数据存放路径</td> </tr> <tr> <td>bert_url</td> <td>./m-sql/pre-trained_weights/chinese_wwm_ext_pytorch</td> <td>string</td> <td>否</td> <td>是</td> <td>使用的bert版本</td> </tr> <tr> <td>train_url</td> <td>home/work/paper-reproduction-nlp-08/train_output/</td> <td>string</td> <td>是</td> <td>是</td> <td>全部数据的存放路径</td> </tr> <tr> <td>load_url</td> <td>./</td> <td>string</td> <td>否</td> <td>是</td> <td>模型保存的路径</td> </tr> <tr> <td>vocab_file</td> <td>vocab.txt</td> <td>string</td> <td>否</td> <td>是</td> <td>bert模型所用的词典未见</td> </tr> <tr> <td>max_seq_length</td> <td>512</td> <td>string</td> <td>否</td> <td>是</td> <td>bert wordpiece tokenize之后的句子最大长度，超出部分将会被截断</td> </tr> <tr> <td>num_target_layers</td> <td>1</td> <td>int</td> <td>否</td> <td>是</td> <td>使用bert模型的后几层</td> </tr> <tr> <td>dr</td> <td>0</td> <td>float</td> <td>否</td> <td>是</td> <td>dropout大小</td> </tr> <tr> <td>lr</td> <td>1e-3</td> <td>float</td> <td>否</td> <td>是</td> <td>除bert以外的参数的学习率</td> </tr> <tr> <td>lr_bert</td> <td>1e-5</td> <td>float</td> <td>否</td> <td>是</td> <td>bert参数的学习率</td> </tr> <tr> <td>seed</td> <td>1</td> <td>int</td> <td>否</td> <td>是</td> <td>随机种子大小</td> </tr> <tr> <td>do_lower_case</td> <td>False</td> <td>string</td> <td>否</td> <td>是</td> <td>是否对全部数据取小写格式</td> </tr> <tr> <td>load_weight</td> <td>./m-sql/trained_model/model/best_model.pth</td> <td>string</td> <td>是</td> <td>是</td> <td>(1)固定的默认路径，默认加载本算法源码目录中的trained_model/model/best_model.pth继续训练，加载成功会打印日志(2)可变的OBS路径，用户可指定OBS上的一个模型文件路径，然后本算法会加载该模型继续训练，加载成功会打印日志</td> </tr> <tr> <td>num_warmup_steps</td> <td>-1</td> <td>int</td> <td>否</td> <td>是</td> <td>warmup学习率中step的大小</td> </tr> <tr> <td>split</td> <td>val</td> <td>string</td> <td>否</td> <td>是</td> <td>用来测试的数据集的前缀，如val、dev、test、final</td> </tr> </tbody> </table> <h2><a id="23__76"></a>2.3. 训练输出文件</h2> <p>训练完成后的输出文件如下：</p> <pre><code class="lang-">|- model_best.pth # 最佳模型参数 |- results_dev-xx.jsonl # 第xx epoch训练结束后在开发集上的预测结果 |- xxx.log # 训练日志 |- model/ # 包含源码、best_model.pth等文件，可直接用于线上服务部署 </code></pre> <p>如果设置eval为True，则需要使用load_weight提供模型参数文件(支持“obs://”链接)，输出文件如下：</p> <pre><code class="lang-">|- pred_results.jsonl # 在开发集上的预测结果 |- eval_xxx.log # 在开发集上的评价结果 </code></pre> <h2><a id="3_GPUCPU_91"></a>3. GPU/CPU推理</h2> <p>源模型来源选择从训练中选择，选择训练作业及版本。<br /> 即声明load_weight参数为obs://paper-reproduction-nlp-08/train_output/model/best_model.pth<br /> 如果需要部署线上推理服务，优先选择CPU：8 核 32GiB GPU：1 * T4配置</p> <h2><a id="4__96"></a>4. 详情指导</h2> <p>本算法的详细使用方法，请查看<a href="https://marketplace.huaweicloud.com/markets/aihub/article/detail/?content_id=71bcfaad-f699-47d1-9e38-367ea13ccadf" target="_blank">《ModelArts AI Gallery算法M-SQL使用指导》</a>。</p>