精品文档
四 川 大 学 计 算 机 学 院、软 件 学 院
实 验 报 告
学号 : 姓名: 专业: 班级: 9 第 15 周
课程 名称
云计算与分布式系统
实验课时
6
实验 项目
在最终部署的
Hadoop 上运行 WordCount 程序
实验时间
2015 年 6 月 11 日星期四
实验 目的
1. 首先通过 Linux 系统和 KVM虚拟机的安装达成对 Linux 系统与虚拟机相关知识的了解和熟悉; 2. 通过 Linux 下 JAVA-ADT的安装以及 Hadoop的相关配置了解 Hadoop的基础知识及基础的应用
方法;
3. 通过多台主机的虚拟化以及 Hadoop的联合部署,在该平台上运行 WordCount程序,体验基本的
云计算的雏形应用并加深对云计算相关知识的了解。
实验
硬件环境: PC机
软件环境: Ubuntu 镜像, Linux 镜像以及 KVM虚拟机程序包
环境
.
精品文档
一、 实验背景
实验
内容 (算
1. 在云计算及其相关应用日益火爆的今天,我们通过课堂上老师讲述的云计算相关的基本知识,
已经对于利用 Hadoop的配置实现一个较为简单的云计算环境有了一定的认识,因此,在本课
程的期末设计中,我们采用 Linux 下的 Hadoop搭建来运行一些简单的程序比如 Wordcount 来达成对云计算的实现的基本知识的学习效果;
2. 本实验中使用的是 MapReduce的编程模型,采用“分而治之”的基本思想, 把对大规模数据集
的操作,分发给一个主节点管理下的各个分节点共同完成, 然后通过整合各个节点的中间结果,得到最终结果。简单地说, MapReduce就是 \任务的分解与结果的汇总 \;
法、 程 序、
步骤 和方
3. 在 Hadoop 中,用于执行 MapReduce任务的机器角色有两个:一个是 JobTracker ;另一个是
TaskTracker ,JobTracker 是用于调度工作的, TaskTracker 是用于执行工作的。一个 Hadoop 集群中只有一台 JobTracker ;
法)
4. 但是值得注意的一点是若要使用本实验中的 MapReduce来处理数据集(或任务) ,其必须具备
如下特点:待处理的数据集可以分解成许多小的数据集, 而且每一个小数据集都可以完全并行地进行处理。
二、 Linux 及 KVM虚拟机安装
1. 首先我们找到比较常用的 Linux 适用版本镜像文件,这里我们使用的是图形化做得非常好的
Ubuntu 14.04 ,然后使用 UltraISO 做出一个启动盘并在电脑上做出一个双系统,分区大小我们参照网络上的建议将主分区目录设置为 20G,成功做出一个 Linux 系统(这里我忘了截图了)
.
精品文档
装机的过程和下面的虚拟机装机是一样的。
2. 然后我们在完成 Linux 下的基础软件安装的情况下进行程序的 KVM虚拟机安装,首先使用如下
指令: $ egrep -o '(vmx|svm)' /proc/cpuinfo 检查 Linux 是否支持安装 KVM,结果显示是 可以安装的,于是我们这里使用指令: $ apt-get install qemu-kvmlibvirt-bin virt-manager bridge-utils 安装 KVM虚拟机,安装过程是自动完成的,如下图所示:
.
精品文档
3. 经验证我们发现 KVM是安装成功并且正常运行的, 安装成功的验证指令为: # lsmod | grep kvm,
.
精品文档
到这里 KVM的安装就基本完成了。
4. 然后我们需要在 KVM上创建一个虚拟机,具体操作步骤如下:在根下创建
images 下创建 iso 和 test 目录。
images 目录,在
.
云计算虚拟化hadoop实验精选报告.docx
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)