一种基于WatiJ的Deep Web蜘蛛研究

一种基于WatiJ的Deep Web蜘蛛研究

刘邵斌;张祖平;龙军

【摘 要】Deep Web中相当一部分内容因为动态网页存在而不能进行有效抓取.为此,设计并实现一种基于Web自动化测试工具--WatiJ的Deep Web 网络蜘蛛.阐述利用WatiJ实现用户提交查询表单、循环点击翻页按钮等拟人交互方式的原理,通过实例给出动态网页抓取的关键步骤.实验结果表明,该蜘蛛是针对授权数据源进行动态网页抓取的一种有效解决方案. 【期刊名称】《计算机工程》 【年(卷),期】2011(037)004 【总页数】3页(P264-266)

【关键词】动态网页;自动化测试;网络蜘蛛 【作 者】刘邵斌;张祖平;龙军

【作者单位】中南大学信息科学与工程学院,长沙,410083;中南大学信息科学与工程学院,长沙,410083;中南大学信息科学与工程学院,长沙,410083 【正文语种】中 文 【中图分类】工业技术

┏ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ┳ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ┓ ┃第 37 卷 第 4 期 ·计 算 机┃工 程2011 年 2 月┃ ┣ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ┻ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━ ━