Hadoop-HDFS分布式环境搭建

最近在考虑一个移动互联网的AppStore项目，就应用及游戏如何存储，对多种内容存储容器进行了选型，其中也包括了对HDFS的考察，本篇是对HDFS的分布式环境搭建进行一个备忘录，以备日后参考。

 

HDFS简单介绍

HDFS的英文全称是Hadoop Distributed File System，顾名思义，就是Hadoop分布式文件系统，是根据Google的GFS的论文，由Doug Cutting使用Java开发的开源项目。HDFS本身是Hadoop项目的一部分，为Hadoop提供了底层的数据存储，以供上层的各种实际应用使用（如Map/Reduce）。HDFS是典型的Master/Slave集群架构，由一个NameNode和多个DataNode组成，NameNode只能是一个，扮演着Master的角色，负责对具体存储块的元数据进行保存，如某个存储块具体保存在哪个DataNode上；DataNode可以为多个，扮演着Slave的角色，负责对具体的存储块进行保存，一个相同的存储块根据配置可以保存到多个DataNode上，以保持数据的高可用性。客户端与HDFS交互时，典型的，会先询问NameNode具体的存储块在哪个DataNode上，然后客户端会直接联系相应的DataNode，来获取或写入数据。各个DataNode会定时发送心跳至NameNode，以便NameNode了解DataNode的可用状态及存储状态，这样可以保证某一个DataNode挂掉，NameNode可以做相应处理，以保证数据的高可用性。

HDFS的目标就是使用大量的廉价PC机，来维护海量的大数据块，并且保证数据的高可用性，并且HDFS集群会随着更多PC机的加入，而提高数据的存储量（当然这与具体环境的硬盘相关）与吞吐量（当然这与具体环境的网卡带宽相关），单个Hadoop集群一般最大可达2000个节点。

在可预见的未来，大数据（BigData）必然会常态化，当前业内的IT巨头均在对HDFS进行研究，如Google，Yahoo，阿里等，不过，开源世界好就好在，“科技巨头”搞的玩意，我们草根也可以尝试一下，呵呵，下面就具体介绍一下HDFS的分布式环境搭建。

 

具体搭建环境描述

由三台机器组成，1台NameNode，2台DataNode

NameNode:172.16.4.14

DataNode:172.16.4.20

DataNode:172.16.3.35

 

具体搭建过程描述

三台机器的所有配置保持一致就可以了，下面是以NameNode机器上的配置过程进行描述：

1、安装Java1.6（略）；

2、以root登录，为HDFS新建一个帐号（不是必须的，但这样比较符合linux下的安全规范，呵呵）

[root@test-2 ~]# useradd hdfs

[root@test-2 ~]# passwd hdfs

Changing password for user test.

New UNIX password:

Retype new UNIX password:

passwd: all authentication tokens updated successfully.

 

3、下载Hadoop软件包，官方下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/

使用hdfs用户上传至/home/hdfs目录，并解压至 /home/hdfs/hadoop

[hdfs@test-2 ~]# tar -zxvf hadoop-0.21.0.tar.gz

 

4、增加HADOOP_HOME环境变量

在.bash_profile中，增加

export HADOOP_HOME /home/hdfs/hadoop

使修改生效

[hdfs@test-2 ~]$ . .bash_profile

 

5、修改JAVA_HOME环境变量

编辑/home/hdfs/hadoop/conf/hadoop-env.sh

将JAVA_HOME的值修改为真实有效的地址，如果不知道，请执行echo $JAVA_HOME 查看；

 

6、配置ssh环境

对HDFS的各种操作，是通过ssh登录后进行，默认情况下，需要多次输入密码，比较麻烦（你可以执行ssh localhost试一试，看看是否需要输入密码），我们要对ssh进行配置；

执行下面命令：

[hdfs@test-2 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

[hdfs@test-2 ~]# cat /home/hdfs/.ssh/id_dsa.pub > /home/hdfs/.ssh/authorized_keys

[hdfs@test-2 ~]# chmod 600 /home/hadoop/.ssh/authorized_keys //这句必须要执行

 

然后你可以通过scp命令，将authorized_keys拷贝至所有的DataNode机器上，并在DataNode机器上对authorized_keys文件赋予600的权限

[hdfs@test-2 ~]# scp -r /home/hdfs/.ssh hdfs@172.16.4.20:/home/hdfs

完成以上操作后，可以尝试命令ssh localhost，以及ssh 172.16.4.20，看看现在使用ssh是否需要密码了，如果不需要，那恭喜你，成功了

 

7、对/home/hdfs/hadoop/conf/下的几个关键配置文件进行配置

core-site.xml配置

<configuration>

     <property>

         <name>fs.default.name</name>

         <value>hdfs://172.16.4.14:9000</value>

     </property>

</configuration>

 

hdfs-site.xml配置

<configuration>

     <property>

         <name>dfs.name.dir</name>

         <value>/home/hdfs/hadoop/data/dfs.name.dir</value>

     </property>

     <property>

         <name>dfs.data.dir</name>

         <value>/home/hdfs/hadoop/data/dfs.data.dir</value>

     </property>

     <property>

         <name>dfs.permissions</name>

         <value>false</value>

     </property>

     <property>

         <name>dfs.replication</name>

         <value>2</value>

     </property>

</configuration>

 

masters配置

172.16.4.14

 

slaves配置

172.16.3.35

172.16.4.20

 

并将所有改动的配置文件，同步至每个DataNode机器的相同文件夹下（仍然可使用scp命令）

 

8、对NameNode进行格式化（该操作只需对NameNode操作）

执行

[hdfs@test-2 bin]$ /home/hdfs/hadoop/bin/hadoop namenode -format

 

9、启动！

ok，至此最基本的配置已经完成，是不是还挺简单的？呵呵

让我们来启动HDFS吧，只需要对master机器进行操作哦（还记得前面说的，会通过ssh连上slave机器，对DataNode进行操作吧？）；

执行

[hdfs@test-2 bin]$ /home/hdfs/hadoop/bin/start-dfs.sh

 

如果启动遇到问题，请对NameNode或DataNode的日志进行查看，路径为/home/hdfs/hadoop/logs，看看是否有Exception抛出。

 

10、简单对HDFS进行试用

与HDFS交互的脚本均在/home/hdfs/hadoop/bin下，我们这里主要以./hadoop脚本为例

创建一个名为newdir的新目录

[hdfs@test-2 bin]$ ./hadoop fs -mkdir newdir

查看HDFS文件系统/user/hdfs目录下的文件列表

[hdfs@test-2 bin]$ ./hadoop fs -ls /user/hdfs

在我的机器上，输出：

11/10/01 23:55:10 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000

11/10/01 23:55:10 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id

Found 4 items

drwxr-xr-x   - hdfs      supergroup          0 2011-09-26 17:30 /user/hdfs/apk

drwxr-xr-x   - hdfs      supergroup          0 2011-09-22 11:35 /user/hdfs/mydir

drwxr-xr-x   - Doug.Wang supergroup          0 2011-09-22 11:35 /user/hdfs/mydir_1

drwxr-xr-x   - hdfs      supergroup          0 2011-10-01 23:52 /user/hdfs/newdir

 

可以看到，我之前建立的文件夹apk,mydir,mydir_1和newdir，其他的操作指令可通过./hadoop fs来进行查看

 

写在最后的

在搭建了HDFS的最简分布式环境后，对HDFS集群进行了简单的并发访问测试。首先将13M左右的文件存储至HDFS，然后客户端同时进行1000个并发读的操作，基本上，性能瓶颈就在HDFS节点的网卡上了。

下面这种场景，应该是不适合使用HDFS的：

在同一个IDC内部，部署一个HDFS集群，并且内部均存储着较大的文件（1M-100M），在同一个IDC内部，有多台机器作为客户端会访问HDFS集群，通过内部千兆以太网去读取文件。试想，如果客户端请求较多时，IDC内部的以太网通道马上就堵塞了，可能会引起“数据风暴”。

因此，在实践中，我们对HDFS的使用，大概应当是这样的：不要将HDFS作为一个单纯的存储系统来使用，而应当结合HDFS上层的Map/Reduce架构，使HDFS中的大块数据并不会频繁地进行传输移动。数据在哪，我们就在哪进行计算。这也是符合Hadoop的设计目标与基本假设的：“移动计算比移动数据更加经济”。