阿里云搭建Hadoop集群
阿里云搭建Hadoop集群
https://blog.csdn.net/bqw18744018044/article/details/79103931
兩臺服務(wù)器，一臺做master，一臺做worker，worker就是slave。建議用之前配置好的服務(wù)器做master，新的主機做worker。
master上的工作
第一步通過vim hadoop /etc/hosts在master中添加worker的hostname
worker1
worker2
worker3
.....
1
2
3
4
第二步配置ssh無密碼登陸
1. 將master上的公鑰xxx.pub復(fù)制到worker上的authorized_keys里面。
scp xxx.pub worker_ip
2. 在worker中更改一下文件的權(quán)限。
chmod 600 authorized_keys
chmod 700 .ssh
1
2
3
4
5
6
第三步將master中的配置好的hadoop目錄復(fù)制到worker中
首先，在master中壓縮hadoop文件，在拷貝到worker中。網(wǎng)上很多教程是直接拷貝文件夾到worker中，這種做法的效率極低，文件的傳輸很慢，一定要壓縮后再拷貝文件。
tar czvf hadoop-2.8.1.tar hadoop-2.8.1
scp hadoop-2.8.1.tar worker_ip
1
2
3
worker上的工作
第一步修改hostname為對應(yīng)的worker，并修改對應(yīng)的hosts中的IP映射。
第二步配置java環(huán)境。
第三步配置/etc/profile
1、2、3步參考我的上一篇博客進行完成。hadoop環(huán)境搭建。
第四步將從master中拷貝過來的hadoop壓縮包進行解壓，并移動到software目錄下。
這次就完成了hadoop集群的搭建。
回到master中，使用./sbin/start-all.sh開啟Hadoop集群。
在master中執(zhí)行hadoop dfsadmin -report查看集群是否正常啟動，下圖表示啟動成功：
————————————————
版權(quán)聲明：本文為CSDN博主「vlions 」的原創(chuàng)文章，遵循CC 4.0 by-sa版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/qq_22600319/article/details/78241628