好文档 - 专业文书写作范文服务资料分享网站

数据工程师培训题库(四).doc

天下 分享 时间: 加入收藏 我要投稿 点赞

TDH数据平台认证工程师试题

姓名:_______________ 分数:____________

【说明】

a) 客观题30题,每题2分,总计60分 b) 主观题4题,每题10分,总计40分 c) 满分100分。

【不定项选择题(每题2分共60分)】

1、下列与HDFS有关的说法正确的是( )

A.HDFS DataNode节点上的磁盘需要做RAID1,用来保证数据的可靠性 B.HDFS可以在磁盘之间通过balance操作,平衡磁盘之间的负载情况

C.HDFS建议DataNode之间的数据盘个数、容量大小不一致,以体现HDFS的负载均衡能力

D.规划HDFS集群时,建议Active NameNode和Standby NameNode分配在不同的机架上

2、以下哪个服务作为HDFS高可靠协调服务的共享存储?( )

A. ZooKeeper B. JournalNodes C. NameNode

D. ZKFailoverController

3、在集群中配置HDFS的副本数为3,设置数据块大小为128M,此时我们上传一份64M的数据文件,该数据文件占用HDFS空间大小为( )

A . 64M B . 128M C . 384M D . 192M

4、在Yarn服务中,不包含以下哪种角色( )

A . ResourceManager B . NodeManager C . ApplicationMaster D . Contianer

5、ResourceManager是YARN的主要组成部分,有关其功能描述不正确的是( )

A . 它直接将集群所拥有的资源按需分配给运行在YARN上的应用程序 B . 它负责将集群中的所有资源进行统一管理和分配 C . 它接受各个节点的资源汇报信息 D . 它把资源按照策略分配给各应用

6、当前用户提交了一个wordcount词频统计的任务,最后任务执行失败,可能的原因有哪些( )

A . 当前集群中没有足够的资源,不足以满足当前wordcount任务的需求 B . 执行该任务的用户没有权限访问HDFS上的数据文件

C . 用户在执行任务之前在HDFS相应的目录下创建了提交任务时指定的输出目录 D . 以上原因都有可能

7、以下关于外表和托管表描述正确的是( )

A、外表的数据存储在本地,托管表的数据存储在hdfs上

B、删除托管表只会删除Inceptor上的元数据不会删除数据文件,删除外表两者都会被删除

C、删除外表只会删除Inceptor上的元数据不会删除数据文件,删除托管表两者都会被删除

D、删除托管表或外表,incepotr上的元数据和数据文件都会被删除

8、SQL运行中如果出现maptask数据特别多,执行时间又很短时可以通过小文件合并来进行优化,以下是合并参数有( )

A. SET ngmr.partition.automerge = TRUE; B. SET ngmr.partition.mergesize = n; C. SET ngmr.partition.mergesize.mb = m; D. SET mapred.reduce.tasks = N;

9、以下关于inceptor日志信息描述正确的有( )

A. Inceptor server日志存放于各节点的/var/log/inceptorsql[x]/hive-server.log B. 可以通过inceptor server 4040查看SQL错误日志

C. Excutor日志存放于excutor节点的/var/log/inceptorsql[x]/spark-excutor.log

D. ExcutorGC日志存放于excutor节点的/var/log/inceptorsql[x]/spark-excutor.gc.log

10、tableA 有10G的数据,tableB有100G的数据,两个表通过共有的id列做关联查询name列,以下方式可以优化计算效率的是( )

A. select /*+MAPJOIN(a)*/ a.name,b.name from tableA a join tableB b on a.id=b.id B. select /*+MAPJOIN(b)*/ a.name,b.name from tableA a join tableB b on a.id=b.id C. 建表时将tableA 和 tableB 根据id字段分相同数量的桶 D. 建表时将tableA 和 tableB 根据name字段分相同数量的桶

11、以下属于HMaster功能的是( )

A. 为Region Server 分配region B. 存储数据元信息

C. 对region进行compact操作

D. 管理用户对table的增删改查操作

12、Hyperbase与Inceptor的关系,描述正确的是( )

A. 两者不可或缺,Inceptor保证Hyperbase的服务的正常运行 B. 两者没有任何关系

C. Inceptor可以访问Hyperbase D. 两者相辅相成

13、下列创建全局索引的语句,正确的是( )

A. add_index 't1', 'index_name’,

‘COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'

B. add_global_index 't1', 'index_name’,

'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true' C. add_fulltext_index 't1', 'index_name’,

'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true' D. create_global_index 't1', 'index_name’,

'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'

14、以下对流处理计算框架描述不正确的是( )

A. Spark Streaming是基于微批(batch)对数据进行处理的 B. Apache Storm是基于时间(event)对数据进行处理的 C. Transwarp StreamSQL可基于微批或事件对数据进行处理 D. 以上说法都不对

15、某交通部门通过使用流监控全市过往24小时各个卡口数据,要求每分钟更新一次,原始流为org_stream,以下实现正确的是( )

A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM original_stream

STREAM w1 AS (length '1' minute slide '24' hour);

B. CREATE STREAM traffic_stream AS SELECT * FROM original_stream

STREAMWINDOW w1 AS (length '1' minute slide '24' hour);

C. CREATE STREAM traffic_stream AS SELECT * FROM original_stream

STREAMWINDOW w1 AS (length '24' hour slide '1' minute);

D. CREATE STREAM traffic_stream AS SELECT * FROM original_stream AS (length '24'

second slide '1' minute); 16、Zookeeper服务描述正确的为( )

A . Zookeeper中每一个server互为leader。

B . Zookeeper中只有一个leader,并通过备份机制产生。 C . Zookeeper中不存在leader,所有server共同提供服务。 D . Zookeeper通过选举机制确定leader,有且仅有一个。

17、通过Hue修改HDFS目录或文件的权限可以通过以下哪些方式实现( )

A. Hdfs相应的权限

B. 通过Hue超级用户hue登录 C. 以hdfs用户登录 D. 以上都可以

18、通过Oozie使用ssh,必须满足以下条件( )

A. 以root用户登录各个节点 B. Oozie用户可以免密钥登录 C. Oozie用户必须要有bash权限 D . 所访问必须是集群的节点

19、有关使用sqoop抽取数据的原理的描述不正确的是( )

A . sqoop在抽取数据的时候可以指定map的个数,map的个数决定在hdfs生成的数据文件的个数

B . sqoop抽取数据是个多节点并行抽取的过程,因此map的个数设置的越多性能越好

C . sqoop任务的切分是根据split字段的(最大值-最小值)/map数

D . sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作

20、在使用sqoop连接关系型数据时,下面哪个命令可以查看关系型数据库中有哪些表?( )

A. sqoop list-databases --username root --password 111111

--connect jdbc:mysql://192.168.164.25:3306/ B. sqoop list-databases --username root -P

--connect jdbc:mysql://192.168.164.25:3306/ C. sqoop list-databases --username root

--password-file file:/root/.pwd

--connect jdbc:mysql://192.168.164.25:3306/ D. sqoop list-tables --username root --password 111111

--connect jdbc:mysql://192.168.164.25:3306/test

21、要将采集的日志数据作为kafka的数据源,则flume sink需要设置为下列哪项参数( )

A . hdfs B . kafka

C . org.apache.flume.sink.kafka.KafkaSink D . {topicname}

22、下列是关于flume和sqoop对比的描述,不正确的是( )

A . flume主要用来采集日志而sqoop主要用来做数据迁移 B . flume主要采集流式数据而sqoop主要用来迁移规范化数据 C . flume和sqoop都是分布式处理任务

D . flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据

23、有关Elasticsearch描述有误的一项是( )

A. 它会利用多播形式发现节点。

B. 主节点(master node) 通过选举方式产生。

C. 主节点(master node)进行集群的管理,只负责集群节点添加和删除。 D. 主节点会去读集群状态信息,必要的时候进行恢复工作。

24、下面措施中,不能保证kafka数据可靠性的是( )

A . kafka会将所有消息持久化到硬盘中保证其数据可靠性

B . kafka通过Topic Partition设置Replication来保证其数据可靠性 C . kafka通过设置消息重发机制保证其数据可靠性 D . kafka无法保证数据可靠性

25、TDH提供哪几种认证模式?( )

A. 所有服务使用简单认证模式——所有服务都无需认证即可互相访问 B. 所有服务都启用Kerberos认证,用户要提供Kerberos principal和密码(或者

keytab)来访问各个服务

C. 所有服务都启用Kerberos同时Inceptor启用LDAP认证 D. 所有服务都启用LDAP认证

26、开启LDAP后,应该使用哪个命令连接Inceptor( )

A. transwarp -t -h $ip。

B. beeline -u jdbc:hive2://$ip:10000 -n $username -p $password。

C. beeline -u \。 D. beeline -u \。

数据工程师培训题库(四).doc

TDH数据平台认证工程师试题姓名:_______________分数:____________【说明】a)客观题30题,每题2分,总计60分b)主观题4题,每题10分,总计40分c)满分100分。【不定项选择题(每题2分共60分)】1、下
推荐度:
点击下载文档文档为doc格式
9u3k132qjc862m61dk4v721et5ixox005o3
领取福利

微信扫码领取福利

微信扫码分享