资源大数据采集技术方案要点

实用标准文案

资源数据采集

文档技术方案

公司名称 2011年7月

二O一一年七月

实用标准文案

目 录

第 1 部分 概述 ............................................................... 3

1.1 项目概况 ............................................................. 3 1.2 系统建设目标 ......................................................... 3 1.3 建设的原则 ........................................................... 3

1.3.1 建设原则 ....................................................... 3 1.4 参考资料和标准 ....................................................... 5 第 2 部分 系统总体框架与技术路线 ............................................. 5

2.1 系统应用架构 ......................................................... 5 2.2 系统层次架构 ......................................................... 6 2.3 关键技术与路线 ....................................................... 6 第 3 部分 系统设计规范 ....................................................... 9 第 4 部分 系统详细设计 ....................................................... 9

文档

实用标准文案

第 1 部分 概述

1.1 项目概况

Internet已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。

现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的迅速发展，使Internet成为人们传递信息的一个重要的桥梁。网络的不断发展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成为了我们今后建设在线预订类旅游网重要的组成部分。

因此，在当今高度信息化的社会里，信息的获取和信息的及时性。而Web数据采集可以通过一系列方法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据，筛选虚假数据和迟滞数据，过滤重复数据。直接将信息按照用户的要求呈现给用户。可以大大减轻用户的信息过载和信息迷失。

1.2 系统建设目标

在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订服务的网站。

如果用户要搜集这一类网站的相关数据，通常的做法是人工浏览网站，查看最近更新的信息。然后再将之复制粘贴到Excel文档或已有资源系统中。这种做法不仅费时费力，而且在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种情况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。

1.3 建设的原则 1.3.1 建设原则

由于在线预订类旅游网的数据采集涉及的方面多、数据量大、采集源数据结构多样化的

文档