华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2.10.1

type

status

date

slug

summary

文章目录

* 前言

* 云耀云服务器L实例简介

Hadoop简介

一、配置环境

* 购买云耀云服务器L实例

查看云耀云服务器L实例状态

重置密码

查看弹性公网IP地址

FinalShell连接服务器

二、搭建Hadoop单机版本

* 详细安装步骤如下：

* 我们先开始配置java环境

hadoop2.x

接下来需要利用vim来操作core-site 和 hdfs-site

踩坑：

三、验证成果

总结

前言

这是Maynor创作的华为云云耀云服务器L实例测评的第二篇，上篇传送门：

[华为云云耀云服务器L实例评测｜单节点环境下部署ClickHouse21.1.9.41数据库 ](https://blog.csdn.net/xianyu120/article/details/132908265)

云耀云服务器L实例简介

`云耀云服务器L实例`是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。`云耀云服务器L实例`提供丰富且经过严格挑选的应用镜像，可以一键部署应用，极大地简化了客户在云端构建电商网站、`Web应用、小程序、学习环境以及各类开发测试`等任务的过程。

Hadoop简介

`Hadoop`是一个开源的分布式计算框架，能够处理大规模数据的存储和处理。它基于Google的`MapReduce`算法和Google File System（`GFS`）的思想，可以在廉价的硬件上进行高效的分布式计算。Hadoop有两个核心组件，一个是分布式文件系统Hadoop Distributed File System（`HDFS`），另一个是分布式计算框架MapReduce。HDFS将大规模数据分散存储在多个节点上，而MapReduce则将计算分散到多个节点上进行并行计算，最终将结果汇总输出。Hadoop的优点是具有高可靠性、可扩展性和高效性，适合处理大规模数据。Hadoop被广泛应用于`数据挖掘、机器学习、人工智能、搜索引擎`等领域。

一、配置环境

购买云耀云服务器L实例

在云耀云服务器L实例详情页，点击购买。

检查配置，确认购买。

查看云耀云服务器L实例状态

查看购买的云耀云服务器L实例状态，处在正常运行中。

重置密码

重置密码，点击重置密码选项，需要进行身份验证，选择手机验证后，即可重置密码成功。

查看弹性公网IP地址

复制弹性公网IP地址，远程连接服务器时使用。

FinalShell连接服务器

在FinalShell工具中，填写服务器弹性公网IP地址、账号密码信息，ssh连接远程服务器。

二、搭建Hadoop单机版本

详细安装步骤如下：

首先下载java的jdk

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

然后解压

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

移动位置并且配置java路径

mv java-se-8u41-ri/ /usr/java8 echo 'export JAVA_HOME=/usr/java8' >> /etc/profile echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile source /etc/profile

检查是否安装成功

java -version

这是理想情况，若安装成功会出现如下结果

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

tar -zxvf hadoop-2.10.1.tar.gz -C /opt/ mv /opt/hadoop-2.10.1 /opt/hadoop

配置地址

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile source /etc/profile

配置yarn和hadoop

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

查看Hadoop 安装情况

hadoop version

若出现上图情况，则说明安装成功

vim /opt/hadoop/etc/hadoop/core-site.xml

进入vim环境

按下i（insert）修改

光标移动至configuration之间，复制如下的信息

<property> <name>hadoop.tmp.dir</name> <value>file:/opt/hadoop/tmp</value> <description>location to store temporary files</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>

然后按下esc，停止修改，然后打":wq"（实际无“”）退出vim修改

同理操作hdfs-site

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/opt/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/opt/hadoop/tmp/dfs/data</value> </property>

配置master和slave连接，运行如下指令，并且一直回车，直至出现如下图

ssh-keygen -t rsa

启动Hadoop

hadoop namenode -format start-dfs.sh start-yarn.sh

输入密码

ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation

这里踩了一个小坑，

解决方案：

<https://blog.csdn.net/ystyaoshengting/article/details/103026872>

查看是否配置成功

jps

成功图

三、验证成果

起初HDFS没有文件所以无任何显示