图片简介:
本说明书实施例提供一种训练机器阅读模型的方法和装置，机器阅读模型用于根据问题和文档，预测问题在文档中的答案，方法包括：获取第一文档和第一问题集合；针对第一问题集合中的第一问题，将第一问题和第一文档输入机器阅读模型，得到第一问题在第一文档中的第一答案；将第一答案和第一文档输入问题生成模型，得到第一答案对应的第二问题；其中，机器阅读模型和问题生成模型互为对偶模型；根据第一问题和第二问题的差异，确定第一预测损失；以最小化第一预测损失为训练目标，执行对机器阅读模型和问题生成模型的第一训练。能够在缺乏训练数据的情况下实现机器阅读模型的训练。
技术要求
1.一种训练机器阅读模型的方法，所述机器阅读模型用于根据问题和文档，预测问题在文
档中的答案，所述方法包括：获取第一文档和第一问题集合；
针对所述第一问题集合中的第一问题，将所述第一问题和所述第一文档输入机器阅读模型，得到所述第一问题在所述第一文档中的第一答案；
将所述第一答案和所述第一文档输入问题生成模型，得到所述第一答案对应的第二问题；其中，所述机器阅读模型和所述问题生成模型互为对偶模型；根据所述第一问题和所述第二问题的差异，确定第一预测损失；
以最小化所述第一预测损失为训练目标，执行对所述机器阅读模型和所述问题生成模型的第一训练。
2.如权利要求1所述的方法，其中，所述第一文档和所述第一问题集合分别为目标领域
的文档和问题集合；所述机器阅读模型和所述问题生成模型基于源领域的样本初步训练。
3.如权利要求2所述的方法，其中，所述机器阅读模型为利用源领域的有标签的第一训练
样本初步训练后得到的，所述第一训练样本的样本输入包括问题和文档，所述第一训练样本的样本标签包括问题在文档中的答案。
4.如权利要求2所述的方法，其中，所述问题生成模型为利用源领域的有标签的第二训练
样本初步训练后得到的，所述第二训练样本的样本输入包括问题在文档中的答案和文档，所述第二训练样本的样本标签包括问题。
5.如权利要求1所述的方法，其中，所述获取第一文档和第一问题集合之后，所述方法还
包括：
将所述第一文档中的每个句子作为一个答案，得到第一答案集合；
针对所述第一答案集合中的第二答案，将所述第二答案和所述第一文档输入所述问题生成模型，得到所述第二答案对应的第三问题；
将所述第三问题和所述第一文档输入所述机器阅读模型，得到所述第三问题在所述第一文档中的第三答案；
根据所述第二答案和所述第三答案的差异，确定第二预测损失；
以最小化所述第二预测损失为训练目标，执行对所述机器阅读模型和所述问题生成模型的第二训练。
6.如权利要求1所述的方法，其中，所述第一问题集合为从总问题集合中抽样得到；
在针对所述第一问题集合的第一训练执行完成后，所述方法还包括：
对所述第一问题集合中各问题的第一预测损失求平均，确定所述第一问题集合对应的第一平均预测损失；
当所述第一平均预测损失小于第一阈值时，结束所述第一训练；
当所述第一平均预测损失大于或等于所述第一阈值时，再次从所述总问题集合中抽样得到第二问题集合，针对所述第二问题集合执行所述第一训练。
7.如权利要求5所述的方法，其中，所述将所述第一文档中的每个句子作为一个答案，得
到第一答案集合，包括：
将所述第一文档拆分为多个句子，将每个句子作为一个答案，得到总答案集合；从所述总答案集合中抽样得到所述第一答案集合；
在针对所述第一答案集合的第二训练执行完成后，所述方法还包括：
对所述第一答案集合中各答案的第二预测损失求平均，确定所述第一答案集合对应的第二平均预测损失；
当所述第二平均预测损失小于第二阈值时，结束所述第二训练；
当所述第二平均预测损失大于或等于所述第二阈值时，再次从所述总答案集合中抽样得到第二答案集合，针对所述第二答案集合执行所述第二训练。
8.一种训练机器阅读模型的装置，所述机器阅读模型用于根据问题和文档，预测问题在文
档中的答案，所述装置包括：
获取单元，用于获取第一文档和第一问题集合；
第一预测单元，用于针对所述获取单元获取的第一问题集合中的第一问题，将所述第一问题和所述第一文档输入机器阅读模型，得到所述第一问题在所述第一文档中的第一答案；
第二预测单元，用于将所述第一预测单元得到的第一答案和所述获取单元获取的第一文档输入问题生成模型，得到所述第一答案对应的第二问题；其中，所述机器阅读模型和所述问题生成模型互为对偶模型；
第一确定单元，用于根据所述第一问题和所述第二预测单元得到的第二问题的差异，确定第一预测损失；
第一训练单元，用于以最小化所述第一确定单元确定的第一预测损失为训练目标，执行对所述机器阅读模型和所述问题生成模型的第一训练。
9.如权利要求8所述的装置，其中，所述第一文档和所述第一问题集合分别为目标领域
的文档和问题集合；所述机器阅读模型和所述问题生成模型基于源领域的样本初步训练。
10.如权利要求9所述的装置，其中，所述机器阅读模型为利用源领域的有标签的第一训练
样本初步训练后得到的，所述第一训练样本的样本输入包括问题和文档，所述第一训练样本的样本标签包括问题在文档中的答案。
11.如权利要求9所述的装置，其中，所述问题生成模型为利用源领域的有标签的第二训练
样本初步训练后得到的，所述第二训练样本的样本输入包括问题在文档中的答案和文档，所述第二训练样本的样本标签包括问题。
12.如权利要求8所述的装置，其中，所述装置还包括：
生成单元，用于在所述获取单元获取第一文档和第一问题集合之后，将所述第一文档中的每个句子作为一个答案，得到第一答案集合；
第三预测单元，用于针对所述生成单元得到的第一答案集合中的第二答案，将所述第二答案和所述第一文档输入所述问题生成模型，得到所述第二答案对应的第三问题；第四预测单元，用于将所述第三预测单元得到的第三问题和所述第一文档输入所述机器阅读模型，得到所述第三问题在所述第一文档中的第三答案；
第二确定单元，用于根据所述第二答案和所述第四预测单元得到的第三答案的差异，确定第二预测损失；
第二训练单元，用于以最小化所述第二确定单元确定的第二预测损失为训练目标，执行对所述机器阅读模型和所述问题生成模型的第二训练。
13.如权利要求8所述的装置，其中，所述第一问题集合为从总问题集合中抽样得到；
所述装置还包括：
第三确定单元，用于在所述第一训练单元针对所述第一问题集合的第一训练执行完成后，对所述第一确定单元确定的所述第一问题集合中各问题的第一预测损失求平均，确定所述第一问题集合对应的第一平均预测损失；
第一触发单元，用于当所述第三确定单元确定的第一平均预测损失小于第一阈值时，结束所述第一训练；
第二触发单元，用于当所述第一平均预测损失大于或等于所述第一阈值时，再次从所述总问题集合中抽样得到第二问题集合，针对所述第二问题集合执行所述第一训练。
14.如权利要求12所述的装置，其中，所述生成单元包括：
生成子单元，用于将所述第一文档拆分为多个句子，将每个句子作为一个答案，得到总答案集合；
抽样子单元，用于从所述生成子单元得到的总答案集合中抽样得到所述第一答案集合；所述装置还包括：
第四确定单元，用于在所述第二训练单元针对所述第一答案集合的第二训练执行完成后，对所述第二确定单元确定的第一答案集合中各答案的第二预测损失求平均，确定所述第一答案集合对应的第二平均预测损失；
第三触发单元，用于当所述第四确定单元确定的第二平均预测损失小于第二阈值时，结束所述第二训练；
第四触发单元，用于当所述第二平均预测损失大于或等于所述第二阈值时，再次从所述总答案集合中抽样得到第二答案集合，针对所述第二答案集合执行所述第二训练。
训练机器阅读模型的方法和设备的制作技术
