search

kingcos / Perspective

📝 Write something with perspectives.
https://kingcos.me
185 stars 15 forks source link

从 0 开始使用 Docker 快速搭建 Hadoop 集群环境 #25

Open kingcos opened 6 years ago

kingcos commented 6 years ago
Date Notes Hadoop Other
2017-03-27 首次提交 2.7.2 Docker CE, IntelliJ IDEA 2016.3

Preface

自从学习 iOS/Swift 以来，就没有太多时间分配给 Java 专业课，毕竟我不是个三心二用还能样样学好的人。不过作为大三的专业课，分布式计算技术还是有去上课的，毕竟不能最后挂科吧 :]

曾有人说，「开发一个项目，至少有 50% 时间在配置环境」。确实，在折腾了三周的课时之后，我才按照老师给的详细步骤配置好 Hadoop 的环境。尽管如此，由于种种原因，班里仍有很多同学还没有配置好 Hadoop 的环境，导致课程一直停滞。在偶然中，我想到了 Docker，Docker 这个词我至少在半年前已经听说（当然，恕我孤陋寡闻，Docker 早在 13 年即发行），但一直没有去了解和使用。时至今日，我对 Docker 的了解也十分少，简单的来说，Docker 是一种容器（Container）管理工具，通过 Docker 我们可以配置可移植的环境，方便发布。Docker 基于 Linux，但也提供了 macOS 和 Windows 桌面版，方便在我们的本地机器测试、使用。

虽然本文是一个小白向的文章，但下载和安装的过程也不会在本文涉及。一是官方网站必然提供了相应的教程，纯粹的翻译毫无意义；二是下载和安装可能随着后续更新发生略微的区别，而本文只着眼于配置 Hadoop 集群环境的搭建。

不过由于个人对 Hadoop 和 Docker 的了解甚少，如有错误，希望指出，我会学习、改正。

Linux

Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉，但是之前的过程还是可以参考的。

连接服务器

ssh root@[Your IP Address]

ssh root@127.0.0.1

更新软件列表

apt-get update

apt-get update

更新完成

安装 Docker

sudo apt-get install docker.io

sudo apt-get install docker.io

Y

安装完成

docker

拉取镜像

kiwenlau/hadoop-cluster-docker

sudo docker pull kiwenlau/hadoop:1.0

sudo docker pull kiwenlau/hadoop:1.0

克隆仓库

git clone https://github.com/kiwenlau/hadoop-cluster-docker

克隆仓库完成

桥接网络

sudo docker network create --driver=bridge hadoop

sudo docker network create --driver=bridge hadoop

运行容器

cd hadoop-cluster-docker
./start-container.sh

./start-container.sh

启动 Hadoop

./start-hadoop.sh

./start-hadoop.sh

测试 Word Count

./run-wordcount.sh

网页管理

macOS

下载 & 安装

Docker CE

macOS or Windows

运行 Docker

Docker is running

docker

拉取镜像 & 克隆仓库 & 桥接网络 & 运行容器 & 启动 Hadoop

测试 Word Count

./run-wordcount.sh

./run-wordcount.sh

Windows

其实最开始就没有打算放出 Windows 版，倒不是因为觉得 Windows 不好，而是目前手头没有 Windows 的电脑，借用同学的电脑也不是很方便。如果需要安装 Docker，需要 CPU 支持虚拟化，且安装了 64 位 Windows 10 Pro/企业版（需要开启 Hyper-V）。其他版本的 Windows 可以安装 Docker Toolbox。

IntelliJ IDEA

我们的 Hadoop 集群已经在容器里安装完成，而且已经可以运行。相比自己一个个建立虚拟机，这样的确十分方便、快捷。为了便于开发调试，接下来就需要在 IntelliJ IDEA 下配置开发环境，包管理工具选择 Gradle。Maven 配合 Eclipse 的配置网上已经有很多了，需要的同学可以自行搜索。

Docker 开启 9000 端口映射

cd hadoop-cluster-docker
vim start-container.sh
-p 9000:9000 \

映射 9000 端口

映射端口成功

开启 Web HDFS 管理*

该步非必须。为了方便在网页端管理，因此开启 Web 端，默认关闭。

which hadoop
cd /usr/local/hadoop/etc/hadoop/
ls

vi core-site.xml

Hadoop 配置文件

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

添加以上内容

启动 Hadoop

构建依赖

compile group: 'org.apache.hadoop', name: 'hadoop-common', version: '2.7.2'
compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.2'

Demo

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Before;
import org.junit.Test;

import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;

/**
* Created by kingcos on 25/03/2017.
*/
public class HDFSOperations {

FileSystem fileSystem;

@Before
public void configure() throws Exception {
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://192.168.1.120:9000");
fileSystem = FileSystem.get(URI.create("hdfs://192.168.1.120:9000"), configuration, "root");
}

@Test
public void listFiles() throws IOException {
Path path = new Path("/");
RemoteIterator<LocatedFileStatus> iterator = fileSystem.listFiles(path, true);

while (iterator.hasNext()) {
LocatedFileStatus status = iterator.next();
System.out.println(status.getPath().getName());
}
}

@Test
public void rm() throws IOException {
Path path = new Path("/");
fileSystem.delete(path, true);
}

@Test
public void mkdir() throws IOException {
Path path = new Path("/demo");
fileSystem.mkdirs(path);
}
}

总结

Reference