好文档 - 专业文书写作范文服务资料分享网站

大数据平台架构

天下 分享 时间: 加入收藏 我要投稿 点赞

精品文档

结构化数据与非结构化数据存储在同一条记录上

这种利用BSON特性的存储方法,可以有效避免由于数据需要存储在两个地方(数据库+存储),中间需要处理复杂的事务逻辑,并且从根本上避免了信息孤岛产生的可能。非结构化数据与结构化数据整合在一起,形成一条完整的记录存储。

3) 双存储引擎,简化系统架构

SequoiaDB数据库支持BSON结构存储和块数据存储。

当用户需要存储一些结构化数据时,可以选择使用BSON结构将数据存储在SequoiaDB中。当用户需要将大文件(超过16M)存储在SequoiaDB中时,可以选择块存储模式,将文件存储在数据库中。

如果用户需要构建一个既需要存储结构化信息,有需要管理大量大文件的系统时,SequoiaDB双存储引擎这个特性,能帮助用户快速搭建一个高性能、高可用的系统,并且整个系统组件简单—只有SequoiaDB数据库,不再需要额外购买昂贵的存储设备,节省企业的开发和运维成本。

.

精品文档

图8:SequoiaDB双存储引擎

4) 统一数据视图,实现冷、热数据物理分离

在大数据应用系统中,虽然存储了大量的历史数据,但是用户在使用数据的规律上,总会有一些数据是使用得比较频繁的(例如在银行中,近期三个月的数据位热数据),有一部分数据有价值,但是查询的频率不高,对于查询的性能也没有热数据那么严格(通常检索热数据,需要在50毫秒内返回结果,检索冷数据,允许在10秒内),这种数据我们就称为冷数据。

SequoiaDB专门为历史数据归档、检索提供一种全新的存储机制,使得热数据与冷数据实现物理分离(例如热数据使用较好的存储硬件SSD,冷数据存储在廉价的磁盘上),但是冷、热数据均统一在一个数据视图上,用户只要像操作一个普通的数据表那样,进行数据检索、分析。

.

精品文档

冷、热数据分离

5) SequoiaDB支持读写分离,用户可以针对一份数据完成更多的业务处理

SequoiaDB通过多副本数据备份,实现数据安全,同时,利用数据的多副本,用户可以在指定多个业务同时访问不同的数据节点,实现一份数据,多种用途的目的,大大提升了数据的使用率。

图10:SequoiaDB读写分离

6) 深度整合大数据体系的各个组件

.

精品文档

SequoiaDB不仅通过了全球最大的Hadoop发行商Cloudera的官方认证(全球只有四家NoSQL数据库获得),还获得了DataBricks的官方认证,同时,SequoiaDB也是国内三家经过DataBricks授权,拥有发行Spark权利的厂商之一。

SequoiaDB的企业版本,除了为客户提供一个高性能的分布式文档型数据库外,还集成了Hadoop的HDFS、MapReduce,基于内存计算的分布式计算框架Spark, SequoiaDB还向客户提供完善的SQL解决方案,像Hive、SQL Engine和Spark SQL,用户可以根据不同的场景,选择不同的组件快速构建属于自己的大数据平台。

从下图可以看到,用户可以基于SequoiaDB作为底层数据库,在应用开发上,根据不同的场景,例如海量数据分析,用户可以选择MapReduce、Hive、Spark RDD或者Spark SQL来完成;如果是做数据实时检索类型的业务,用户可以选择使用SQL Engine或者SequoiaDB提供的API来进行实时数据检索。

SequoiaDB深度整合大数据体系各个组件

.

精品文档

SequoiaDB企业版架构图

7) 完善的运维、监控工具

SequoiaDB作为一家企业级数据库厂商,除了为用户提供高性能的数据库服务外,还为用户提供完善的运维工具。例如在命令行工具上,SequoiaDB为用户提供sdbtop工具,方便用户实时追踪集群运行状况,还有sdb日志追踪工具,多级别日志选择等都为企业后续的运维减轻压力。

另外,SequoiaDB还为用户提供一套WEB管理工具,用户可以通过页面部署、管理SequoiaDB集群,并且WEB控制台还将实时监控的数据用形象的图表展示给用户。企业后续对SequoiaDB集群的运维工作量大大减少。

SequoiaDB WEB管理界面

8) SequoiaDB支持在线扩容,系统扩容升级快速简单

SequoiaDB支持在线扩容,系统扩容升级快速简单

SequoiaDB作为一款分布式文档型数据库,在数据库架构设计之初就已经将

.

大数据平台架构

精品文档结构化数据与非结构化数据存储在同一条记录上这种利用BSON特性的存储方法,可以有效避免由于数据需要存储在两个地方(数据库+存储),中间需要处理复杂的事务逻辑,并且从根本上避免了信息孤岛产生的可能。非结构化数据与结构化数据整合在一起,形成一条完整的记录存储。3)双存储引擎,简化系统架构SequoiaDB数
推荐度:
点击下载文档文档为doc格式
5vtgh5jdh97u3cm9b9nu86wqu5roxb003cn
领取福利

微信扫码领取福利

微信扫码分享