图片简介:
本申请介绍了跨模态处理方法、装置、电子设备和计算机存储介质，涉及自然语言处理技术领域。具体实现方案为：获取样本集，样本集包括多个语料和多个图像，根据样本集，生成多个训练样本，每一个训练样本是至少一个语料与对应的至少一个图像的组合，采用多个训练样本，对语义模型进行训练，以使语义模型学习得到语料与图像组合的语义向量，采用经过训练的语义模型，进行语料和图像之间的跨模态处理，通过将语料和对应的图像的组合进行训练，使得语义模型学习到了语料和对应的图像之间的语义关联，提高了语义模型的训练效果，解决了现有技术中，多模态处理时，针对每一种模态单独训练，隔离了不同模态间的语义关联，使得训练得到的模型效果较差。
技术要求
1.一种跨模态处理方法，其特征在于，所述方法包括以下步骤：
获取样本集；其中，所述样本集包括多个语料，以及多个图像；
根据所述样本集，生成多个训练样本；其中，每一个所述训练样本，是至少一个所述语料与对应的至少一个所述图像的组合；
采用所述多个训练样本，对语义模型进行训练，以使所述语义模型学习得到语料与图像组合的语义向量；
采用经过训练的语义模型，进行语料和图像之间的跨模态处理。
2.根据权利要求1所述的跨模态处理方法，其特征在于，所述采用所述多个训练样本，对
语义模型进行训练，以使所述语义模型学习得到语料与图像组合的语义向量，包括：针对每一个训练样本，对相应训练样本中所述图像呈现的各对象提取图像特征，以及对所述语料中各文本单元提取文本特征；
将各对象的所述图像特征和各文本单元的所述文本特征拼接，得到输入特征；根据所述输入特征，执行第一训练任务，以对所述语义模型训练；其中，所述第一训练任务包括：
对每一个训练样本，选中至少一个文本单元，将所述输入特征中相应文本单元的文本特征替换为设定的文本掩码，和/或，选中至少一个对象，将所述输入特征中相应对象的图像特征替换为设定的图像掩码；
将替换后得到的输入特征输入所述语义模型，以得到所述语义模型输出的第一语义向量；
根据所述第一语义向量，预测选中的文本单元和/或选中的对象；根据预测准确性，调整所述语义模型的参数。
3.根据权利要求2所述的跨模态处理方法，其特征在于，所述选中的对象包括具有重叠显
示区域的至少两个对象；或者，所述选中的对象为与任一对象均不具有重叠显示区域的一个对象。
4.根据权利要求2所述的跨模态处理方法，其特征在于，所述根据所述样本集，生成多个
训练样本，包括：
将各所述语料，与相应语料描述的所述图像组合，得到语料与图像匹配的训练样本；以及，将固定设置的所述语料与随机确定的所述图像组合，得到语料与图像不匹配的训练样本，和/或，将固定设置的所述图像与随机确定的所述语料组合，得到语料与图像不匹配的训练样本。
5.根据权利要求4所述的跨模态处理方法，其特征在于，所述输入特征中还包括匹配标
识；所述采用所述多个训练样本，对语义模型进行训练，包括：根据所述输入特征，执行第二训练任务，以对所述语义模型训练；其中，所述第二训练任务包括：
对每一个训练样本，将对应的输入特征中所述匹配标识取设定值后，输入所述语义模型，以得到所述语义模型输出的第二语义向量；
根据所述第二语义向量中所述匹配标识的取值，预测相应训练样本中语料与图像的匹配性；
根据预测的匹配性与相应训练样本的实际匹配性之间的差异，调整所述语义模型的参数。
6.根据权利要求2所述的跨模态处理方法，其特征在于，所述对相应训练样本中所述图像
呈现的各对象提取图像特征，包括：
对所述图像中呈现的各对象，获取视觉特征和空间坐标；其中，所述视觉特征，是对相应感兴趣区域的图像内容信息池化得到的；所述空间坐标，用于指示相应对象在图像中的展示位置；
将所述视觉特征和所述空间坐标拼接，生成对象特征；
根据各对象的所述对象特征、对象顺序特征和设定的第一模态标识，生成各对象的图像特征；其中，所述对象顺序特征，用于指示各对象之间的相互顺序关系；所述第一模态标识，用于指示相应对象属于图像。
7.根据权利要求6所述的跨模态处理方法，其特征在于，所述根据各对象的所述对象特
征、对象顺序特征和设定的第一模态标识，生成各对象的图像特征之前，还包括：对每一对象，从建立的种子库中搜索对应的标准文本；所述标准文本用于描述相应对象；
将所述标准文本的字符内容与所述对象特征融合。
跨模态处理方法、设备、电子设备和计算机存储介质的制作方法
