IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop的编译打包 -> 正文阅读

[大数据]Hadoop的编译打包

安装编译环境

当编译Linux内核及一些软件的源程序时,经常要用这个命令。Make命令其实就 是一个项目管理工具,而Ant所实现功能与此类似。像make,gnumake和nmake这些编译工具都有 一定的缺陷,但是Ant却克服了这些工具的缺陷。Maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。Hadoop需要 maven和ant工具进行编译管理

1、安装 jdk、gcc、gcc-c++ 、make、cmake、openssl-devel、ncurses-devel。

[root@node1 ~]# yum install java-1.7.0-openjdk*
[root@node1 ~]# yum install gcc
[root@node1 ~]# yum install gcc-c++
[root@node1 ~]# yum install openssl-devel
[root@node1 ~]# yum install cmake
[root@node1 ~]# yum install make
[root@node1 ~]# yum install ncurses-devel

2、maven配置


下载maven软件包。下载地址如下:
https://maven.apache.org/download.cgi
用winscp传到节点机
在这里插入图片描述


解压maven软件包。

[root@node1 ~]# tar xvzf apache-maven-3.2.5-bin.tar.gz


把maven软件移到目录/usr/local下。

[root@node1 ~]# mv apache-maven-3.2.5 /usr/local/maven


编辑环境变量。

[root@node1 ~]# vim /etc/profile

文件末尾添加内容如下:

export M2_HOME=/usr/local/maven
export M2=$M2_HOME/bin
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH="$M2:$PATH"


使环境变量生效。

[root@node1 ~]# source /etc/profile


检查maven版本,显示如下表示成功。
在这里插入图片描述


修改配置文件。
[root@node1 ~]# vim /usr/local/maven/conf/settings.xml

<mirrors> </mirrors>内添加如下内容

<profile>
       <id>jdk-1.7</id>
       <activation>
         <jdk>1.7</jdk>
       </activation>
       <repositories>
         <repository>
           <id>nexus</id>
           <name>local private nexus</name>
           <url>http://maven.oschina.net/content/groups/public/</url>
           <releases>
             <enabled>true</enabled>
           </releases>
           <snapshots>
             <enabled>false</enabled>
           </snapshots>
         </repository>
       </repositories>
<pluginRepositories>
         <pluginRepository>
           <id>nexus</id>
          <name>local private nexus</name>
           <url>http://maven.oschina.net/content/groups/public/</url>
           <releases>
             <enabled>true</enabled>
           </releases>
           <snapshots>
             <enabled>false</enabled>
           </snapshots>
         </pluginRepository>
       </pluginRepositories>
     </profile>

3、protobuf配置


下载protobuf软件包。下载地址如下:
https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.bz2
在这里插入图片描述


解压软件包。
在这里插入图片描述
出现这种情况原因:缺少bzip2包

yum install -y bzip2

之后再解压

[root@node1 ~]# tar xvjf /root/protobuf-2.5.0.tar.bz2


配置、编译、安装、加载。

[root@node1 protobuf-2.5.0]# cd /root/protobuf-2.5.0
[root@node1 protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf
[root@node1 protobuf-2.5.0]# make
[root@node1 protobuf-2.5.0]# make install
[root@node1 protobuf-2.5.0]# ldconfig


编辑环境变量。

[root@node1 protobuf-2.5.0]# vim /etc/profile

文件末尾添加内容如下:

export LD LIBRARY_PATH=/usr/local/protobuf
export PATH="/usr/local/protobuf/bin:$PATH"


使环境变量设置生效。

[root@node1 protobuf-2.5.0]# source /etc/profile


检查protobuf版本,显示如下表示成功。
在这里插入图片描述

4、ant配置


下载ant软件包。下载地址如下:
http://mirrors.cnnic.cn/apache/ant/binaries/apache-ant-1.9.4-bin.tar.bz2
在这里插入图片描述


解压软件包。

tar xvjf apache-ant-1.9.4-bin.tar.bz2


把ant软件移到目录/usr/local下。

[root@node1 ~]# mv apache-ant-1.9.4 /usr/local/ant


编辑环境变量。

[root@node1 ~]# vim /etc/profile

在profile文件末尾添加内容如下:

export ANT_HOME=/usr/local/ant
export PATH="$JAVA_HOME/bin:$PATH:$HADOOP_PREFIX/bin:$PATH:$M2:$PATH:$ANT_HOME/bin"


使环境变量设置生效。

[root@node1 ~]# source /etc/profile


检查ant版本,显示如下表示成功。
在这里插入图片描述

编译Hadoop软件

目前主流linux服务器大多使用用64位操作系统,由于hadoop官方网站下载的hadoop-2.6.0.tar.gz只提供32位的编译版本,为了在64位操作系统上运行hadoop,我们需要重新编译hadoop。

1、下载hadoop2.6版本的开源代码软件包

下载地址如下:
http://mirrors.cnnic.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz
在这里插入图片描述

2、解压软件包。

[root@node1 ~]# tar xvzf hadoop-2.6.0-src.tar.gz

3、进入软件目录,清理数据。

[root@node1 hadoop-2.6.0-src]# mvn clean

在这里插入图片描述
在这里插入图片描述

4、编译打包。

[root@node1 hadoop-2.6.0-src]# mvn package -Pdist,native -DskipTests -Dtar

在这里插入图片描述
可能出现了版本不兼容,需更改libprotoc版本,改为2.5.0(注:文章内容已经更改,此bug仅作参考
在这里插入图片描述

编译打包后显示如下信息:
在这里插入图片描述

5、编译打包后在hadoop-dist/targe目录下生成相应软件包。

在这里插入图片描述

hadoop-2.6.0.tar.gz软件包编译打包完成。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-07-28 07:53:02  更:2021-07-28 07:55:02 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/20 23:26:23-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码