主题模型LDA的多文档自动文摘
杨潇;马军;杨同峰;杜言琦;邵海敏
【期刊名称】《智能系统学报》 【年(卷),期】2010(005)002
【摘要】近年来使用概率主题模型表示多文档文摘问题受到研究者的关注.LDA (latent dirichlet allocation)是主题模型中具有代表性的概率生成性模型之一.提出了一种基于LDA的文摘方法,该方法以混乱度确定LDA模型的主题数目,以Gibbs抽样获得模型中句子的主题概率分布和主题的词汇概率分布,以句子中主题权重的加和确定各个主题的重要程度,并根据LDA模型中主题的概率分布和句子的概率分布提出了2种不同的句子权重计算模型.实验中使用ROUGE评测标准,与代表最新水平的SumBasic方法和其他2种基于LDA的多文档自动文摘方法在通用型多文档摘要测试集DUC2002上的评测数据进行比较,结果表明提出的基于LDA的多文档自动文摘方法在ROUGE的各个评测标准上均优于SumBasic方法,与其他基于LDA模型的文摘相比也具有优势. 【总页数】8页(169-176)
【关键词】多文档自动;句子分值计算;主题模型;LDA;主题数目 【作者】杨潇;马军;杨同峰;杜言琦;邵海敏
【作者单位】山东经济学院,信息管理学院,山东,济南,250014;山东大学,计算机科学与技术学院,山东,济南,250101;山东大学,计算机科学与技术学院,山东,济南,250101;山东大学,计算机科学与技术学院,山东,济南,250101;山东大学,计算机科学与技术学院,山东,济南,250101 【正文语种】中文
【中图分类】TP391 【相关文献】
1.基于主题模型与冗余控制的中文多文档自动文摘技术研究 [J], 袁龙云; 张琳 2.LDA主题驱动的中文多文档自动文摘方法 [C], 张明慧; 王红玲; 周国栋 3.基于子主题区域划分的多文档自动文摘方法 [J], 王萌; 徐超; 李春贵; 何婷婷 4.基于局部主题关键句抽取的多文档自动文摘方法 [J], 徐超; 王萌 5.主题信息的中文多文档自动文摘系统 [J], 王红玲; 张明慧; 周国栋
以上内容为文献基本信息，获取文献全文请下载
主题模型LDA的多文档自动文摘
