龙源期刊网 http://www.qikan.com.cn
基于Scrapy框架的校园搜索引擎设计
作者：马威
来源：《科技创新与应用》2020年第14期
摘; 要：近年来随着数字化校园建设进度的加快，高校校园网站中的信息不断增加。校园网用户量和问题数量的增加导致查找和索引信息变得困难，用户搜索服务的准确率得不到保障。文章基于Scrapy框架对校园搜索引擎进行设计，利用URL去重策略来提升校园信息的查询效率，使搜索结果达到满意期望值。 关键词：搜索引擎;Scrapy框架;URL去重
中图分类号：TP391.3 文献标志码：A 文章编号：2095-2945（2020）14-0084-02 Abstract： In recent years， with the acceleration of the construction of digital campuses， the information on the campus websites of universities has been increasing. The increase in the number of users and questions on the campus network makes it difficult to find and index information， and the accuracy of user search services cannot be guaranteed. This article designs the campus search engine based on the Scrapy framework. The search engine uses the URL deduplication strategy to improve the query efficiency of campus information， and makes the search results meet the satisfied expectations.
Keywords： search engine; Scrapy framework; URL deduplication 引言
在现今信息化的社会中，人们可以通过网络获得大量的信息。对于校园数字化建设来说，大量的冗杂信息给校园网站内信息的查找与定位带来困难。目前大多校园网站都是采用普通的站内搜索来查询信息，难以满足日益增长的需求。
针对上述问题，为了给学校打造一个高效、清净的信息环境，本文将基于Scrapy框架对校园搜索引擎进行相关设计。建立校园搜索引擎的可行性主要有以下几个方面：（1）校园站的網络链接相对较少，站点层次分明，数据抓取进程的计算量也较少，能加快服务器的响应速度。（2）所需硬件和软件配置不高，便于控制项目开发成本，有利于项目实施。（3）参考体系成熟的相关模型和算法，加以改进优化后应用到设计中。
由上述分析可知，建立校园搜索引擎是符合客观实际需求并且可行的。 1 建立搜索引擎流程分析
基于Scrapy框架的校园搜索引擎设计
