Hadoop学习笔记-Hadoop集群搭建

2020-03-17

1、前期准备

1.1、准备3台（不等）服务器，每台服务器均可上网，分别是：

服务器名称	IP地址
Hadoop000（主节点）	192.168.2.113
Hadoop001	192.168.2.114
Hadoop002	192.168.2.115

IP地址不一定一致，服务器名称也可以不一致

1.2、修改每台服务器的hostname：

1.2.1、对Hadoop000服务器的修改

1	-------------------------------------------------
2	$ vi /etc/hostname
3	输入：hadoop000
4	$ cat /etc/hostname
5	显示：hadoop000即修改成功
6	-------------------------------------------------
7	$ vi /etc/hosts
8	输入：
9	192.168.2.113 hadoop000
10	192.168.2.114 hadoop001
11	192.168.2.115 hadoop002
12	192.168.2.113 localhost
13	$ cat /etc/hosts
14	显示：
15	192.168.2.113 hadoop000
16	192.168.2.114 hadoop001
17	192.168.2.115 hadoop002
18	192.168.2.113 localhost

1.2.3、对Hadoop001服务器名称的修改

1	-------------------------------------------------
2	$ vi /etc/hostname
3	输入：hadoop001
4	$ cat /etc/hostname
5	显示：hadoop001即修改成功
6	-------------------------------------------------
7	$ vi /etc/hosts
8	输入：
9	192.168.2.113 hadoop000
10	192.168.2.114 hadoop001
11	192.168.2.115 hadoop002
12	192.168.2.114 localhost
13	$ cat /etc/hosts
14	显示：
15	192.168.2.113 hadoop000
16	192.168.2.114 hadoop001
17	192.168.2.115 hadoop002
18	192.168.2.114 localhost

1.2.4、对Hadoop002服务器名称的修改

1	-------------------------------------------------
2	$ vi /etc/hostname
3	输入：hadoop002
4	$ cat /etc/hostname
5	显示：hadoop002即修改成功
6	-------------------------------------------------
7	$ vi /etc/hosts
8	输入：
9	192.168.2.113 hadoop000
10	192.168.2.114 hadoop001
11	192.168.2.115 hadoop002
12	192.168.2.115 localhost
13	$ cat /etc/hosts
14	显示：
15	192.168.2.113 hadoop000
16	192.168.2.114 hadoop001
17	192.168.2.115 hadoop002
18	192.168.2.115 localhost

2、前置安装

2.1、安装 ssh

对每台机器执行，ssh免密码登陆：

1	ssh-keygen -t rsa

在hadoop000机器上进行操作：

1	ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop000
2	ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001
3	ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002

测试是否成功，在Hadoop000机器上：

ssh hadoop@hadoop000
ssh hadoop@hadoop001
ssh hadoop@hadoop002
测试成功结果：无须密码，就可以进去
测试失败结果：需要输入密码

2.2、JDK安装

缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save

3、在根目录_config.yml里添加配置：

  jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

hai xi<br><br>目前是一位全栈工程师<br>只为大家服务<br>