Hadoop环境搭建之Hadoop安装-白红宇

Hadoop环境搭建之Hadoop安装

阅读量：6431 次

发布时间：2019-06-23

本文共 3000 字，大约阅读时间需要 10 分钟。

一、说明

11、软件选择

jdk：jdk-6u45-linux-x64-rpm.bin ，下载地址：https://yunpan.cn/cS429Bvah7mgv （提取码：a0b5）

hadoop：hadoop-1.1.2.tar.gz ，下载地址：https://yunpan.cn/cS42GnmRa8TDd （提取码：aefa）

12、服务器说明

我们使用三台服务器部署hadoop，其中服务器h1作为namenode节点，h2、h3作为datanode节点。三台服务器的ssh配置详见

13、linux服务器版本：

二、jdk安装

由于hadoop是java写的，那么jdk的安装就不可少了。如果linux系统中已经有jdk那么最好先卸载掉，避免由于版本过低或者过高造成hadoop不能正常安装。

21、将jdk文件赋予可执行权限

chmod +x jdk-6u45-linux-x64-rpm.bin

22、执行命令，将其生成rpm文件，命令如下

./jdk-6u45-linux-x64-rpm.bin

23、执行22步骤生成的rpm文件，命令如下

rpm -ivh jdk-6u5-linux-amd64.rpm

24、设置jdk的环境变量

在/etc/profile文件的“export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC”内容上添加一下内容

export JAVA_HOME=/usr/java/jdk1.6.0_45export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/binexport CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

三、安装hadoop

1、在根目录下创建一个名字为“bdata”的文件夹

mkdir /bdata

2、将hadoop-1.1.2.tar.gz在bdata中解压，最后生成hadoop-1.1.2文件

tar -zxvf hadoop-1.1.2.tar.gz

3、修改配置文件

31、修改/bdata/hadoop-1.1.2/conf/core.site.xml文件，将其内容修改为


    
    
    
    
       
      
       hadoop.tmp.dir
        
      
       /bdata/hadoop-1.1.2/hadooptmp
        
      
       A base for other temporary directories.
      
     
       
      
       fs.default.name
        
      
       hdfs://h1:9000
        
      
       The name of the default file system.  A URI whose  scheme and authority determine the FileSystem implementation.  The  uri's scheme determines the config property (fs.SCHEME.impl) naming  the FileSystem implementation class.  The uri's authority is used to  determine the host, port, etc. for a filesystem.

其中/bdata/hadoop-1.1.2/hadooptmp是存放hadoop相关数据的目录，h1为namenode节点。

32、修改/bdata/hadoop-1.1.2/conf/hdfs-site.xml文件，将其内容修改为：


    
    
    
    
       
      
       dfs.replication
        
      
       2
        
      
       Default block replication.   The actual number of replications can be specified when the file is created.  The default is used if replication is not specified in create time.

其中dfs.replication的值2表示数据块会被保存2份，这个机制是防止数据丢失。

33、修改/bdata/hadoop-1.1.2/conf/mapred-site.xml文件，将其内容修改为：


    
    
    
    
       
      
       mapred.job.tracker
        
      
       h1:9001
        
      
       The host and port that the MapReduce job tracker runs  at.  If "local", then jobs are run in-process as a single map  and reduce task.

34、修改/bdata/hadoop-1.1.2/conf/masters文件，将其内容修改为：

h1

此文件的内容是指定namenode节点服务器

35、修改/bdata/hadoop-1.1.2/conf/slaves文件，将其内容修改为：

h2h3

此文件的内容是指定datanode节点服务器

36，在hadoop-1.1.2目录下车间hadooptmp文件，此文件用于存放hadoop的数据，切换到hadoop-1.1.2下，并执行以下命令

mkdir hadooptmp

37、将配置好的hadoop-1.1.2发送到h2、h3的根目录下，在h1下分别执行以下命令

scp -r /bdata root@h2:/

scp -r /bdata root@h3:/

四、启动hadoop

41、切换到/bdata/hadoop-1.1.2/bin目录下，并执行格式化hadoop的目录，此命令是在/bdata/hadoop-1.1.2/hadooptmp下生成hadoop需要的目录，相关命令如下：

cd /bdata/hadoop-1.1.2/bin./hadoop namenode -format

42、启动hadoop

./start-all

43、通过命令"jps"，h1中打印出了＂NameNode SecondaryNameNode JobStracker＂，

在h2、h3中打印出"DataNode TaskTracker" 就说明hadoop已经正常安装。

转载于:https://my.oschina.net/u/948369/blog/685956

你可能感兴趣的文章