基于CNN和BiLSTM网络特征融合的文本情感分析
李 洋，董红斌*
【摘 要】摘 要:卷积神经网络(CNN)和循环神经网络(RNN)在自然语言处理上得到广泛应用，但由于自然语言在结构上存在着前后依赖关系，仅依靠卷积神经网络实现文本分类将忽略词的上下文含义，且传统的循环神经网络存在梯度消失或梯度爆炸问题，限制了文本分类的准确率。为此，提出一种卷积神经网络和双向长短时记忆(BiLSTM)特征融合的模型，利用卷积神经网络提取文本向量的局部特征，利用BiLSTM提取与文本上下文相关的全局特征，将两种互补模型提取的特征进行融合，解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题，也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验，实验结果表明，所提特征融合模型有效提升了文本分类的准确率。 【期刊名称】计算机应用 【年(卷),期】2018(038)011 【总页数】6
【关键词】关键词:词向量；卷积神经网络；双向长短时记忆；特征融合；文本情感分析
修回日期:2018- 06- 16; 录用日期:2018- 06- 29。
基金项目:国家自然科学基金资助项目(61472095)。
0 引言
近年来，随着互联网的高速发展，每天不断地产生大量文本、音频、图片、视
频等数据，其中文本信息的数据量最大，但文本信息杂乱无章，人工很难区分和整理，因此，对文本数据进行分类变得越来越重要。最初深度学习(Deep Learning)在图像和语音识别领域取得了优异成绩，而近年来深度学习在文本分类中的应用也越来越广泛，与传统的文本分类方法，如朴素贝叶斯、K最近邻(K Nearest Neighbor, KNN)和支持向量机(Support Vector Machine, SVM)等算法相比，不需要人工设计特征[1]，而是利用深度学习模型自动提取文本特征，显著提高了文本分类的速度，并取得比传统文本分类更好的分类效果。 深度学习是机器学习中的一条重要分支，深度学习是利用多重非线性变换结构对数据进行高阶抽象的算法[2]。最近几年，深度学习算法在自然语言处理领域取得了十分出色的成果，其中卷积神经网络(Convolutional Neural Network, CNN)充分利用多层感知器的结构，具备很好的学习复杂、高维和非线性映射关系的能力，在图像识别任务和语音识别任务中得到广泛的应用[3-4]，并取得很好的效果。Kalchbrenner等[5]提出把CNN应用于自然语言处理，并设计了一个动态卷积神经网络(Dynamic Convolution Neural Network, DCNN)模型，以处理不同长度的文本； Kim[6]提出的英文文本分类的模型，将经过预处理的词向量作为输入，利用卷积神经网络实现句子级别的分类任务。虽然卷积神经网络在文本分类中取得了巨大的突破，但是卷积神经网络更加关注局部特征而忽略词的上下文含义，这对文本分类的准确率有一定的影响，所以本文利用双向长短时记忆(Bidirectional Long Short-Term Memory, BiLSTM) 网络解决卷积神经网络模型忽略词上下文含义的问题。
神经网络在特征的自动学习和表达中发挥越来越重要的作用，对于序列化输入，循环神经网络(Recurrent Neural Network, RNN)能够把邻近位置信息进行有
效整合[7-8]，处理自然语言处理的各项任务。RNN的子类长短期记忆网络模型(Long Short-Term Memory, LSTM)[9-10]，对序列信号进行建模的神经网络模型，可以作为复杂的非线性单元用来构建大型的神经网络结构，同时能避免RNN的梯度消失问题，具有更强的“记忆能力”，能够很好地利用上下文特征信息和对非线性关系进行拟合的能力，保留文本的顺序信息。RNN有多种变种循环神经网络模型，主要应用于文本分类的有双向循环神经网络(Bidirectional RNN)[11]，由于文本中词的语义信息不仅与词之前的信息有关，还与词之后的信息有关，两个RNN左右传播组合而成的双向循环神经网络能进一步提高文本分类的准确率。 本文的主要贡献如下:
1) 利用BiLSTM代替传统RNN和LSTM，BiLSTM解决传统RNN中梯度消失或梯度爆炸问题；同时一个词的语义与它之前信息和之后信息都有关，而BiLSTM充分考虑词在上下文的含义，克服了LSTM不能考虑词之后信息的弊端。
2) 将卷积神经网络和BiLSTM进行融合，既能利用卷积神经网络提取局部特征的优势，又能利用双向长短时记忆网络兼顾文本序列全局特征的优势，利用BiLSTM解决卷积神经网络在文本分类中忽略词的上下文含义的问题，提高了特征融合模型在文本分类的准确率。
1 词向量
1.1 词嵌入
深度学习方法进行文本分类的第一步是将文本向量化，利用词向量表示文本，作为卷积神经网络和BiLSTM网络模型的输入。传统的文本表示方法是基于向
基于CNN和BiLSTM网络特征融合的文本情感分析
