Cara Menyiapkan Cluster Multi-Nod Hadoop di CentOS 7/6

Perpustakaan Perisian Apache Hadoop adalah rangka kerja yang membolehkan pemprosesan yang diedarkan dari set data besar merentasi kluster komputer menggunakan model pengaturcaraan mudah.

Artikel terdahulu kami mengenai Hadoop menerangkan cara menyiapkan kluster nod tunggal. Artikel ini akan membantu anda untuk langkah demi langkah memasang dan mengkonfigurasi kluster multi-nod Hadoop di CentOS/RHEL 6.

Butiran Persediaan:

Master Hadoop: 192.168.1.15 (Hadoop-Master)
Hamba Hadoop: 192.168.1.16 (Hadoop-Slave-1)
Hamba Hadoop: 192.168.1.17 (Hadoop-Slave-2)

Langkah 1. Pasang Java

Sebelum memasang Hadoop pastikan anda memasang Java pada semua nod sistem kluster Hadoop.

# Java -versi Java Versi "1.7.0_75 "Java (TM) SE Runtime Environment (Membina 1.7.0_75-b13) Java Hotspot (TM) 64-bit Server VM (membina 24.75-b04, mod campuran) 

Sekiranya anda tidak mempunyai Java yang dipasang menggunakan artikel berikut untuk memasang Java.

Langkah -langkah untuk memasang Java 7 di CentOS/RHEL 7/6/5

Langkah 2. Buat Akaun Pengguna

Buat Akaun Pengguna Sistem pada Sistem Master dan Slave untuk digunakan untuk pemasangan Hadoop

# UserAdd Hadoop # Passwd Hadoop 

Menukar kata laluan untuk pengguna hadoop. Kata Laluan Baru: Retype Kata Laluan Baru: Passwd: Semua Token Pengesahan Dikemas kini dengan jayanya. 

Langkah 3: Tambahkan pemetaan FQDN

Edit /etc/hos fail pada semua pelayan tuan dan hamba dan tambahkan penyertaan berikut.

# vim /etc /hosts 

192.168.1.15 Hadoop-Master 192.168.1.16 Hadoop-Slave-1 192.168.1.17 Hadoop-Slave-2 

Langkah 4. Mengkonfigurasi log masuk berasaskan kunci

Ia dikehendaki menyediakan pengguna Hadoop ke SSH sendiri tanpa kata laluan. Gunakan arahan berikut untuk mengkonfigurasi log masuk auto antara semua pelayan kluster Hadoop ..

# su -Hadoop $ ssh -keygen -t rsa $ ssh -copy -id -i ~/.SSH/ID_RSA.pub [dilindungi e-mel] $ ssh-copy-id -i ~/.SSH/ID_RSA.pub [dilindungi e-mel] $ ssh-copy-id -i ~/.SSH/ID_RSA.pub [dilindungi e -mel] $ chmod 0600 ~/.SSH/Authorized_keys $ Exit 

Langkah 5. Muat turun dan ekstrak sumber Hadoop

Muat turun versi terkini Hadoop dari laman rasminya di pelayan Hadoop-Master sahaja.

# mkdir/opt/hadoop # cd/opt/hadoop/ # wget http: // apache.mesi.com.AR/Hadoop/Common/Hadoop-1.2.0/Hadoop-1.2.0.tar.GZ # TAR -XZF HADOOP -1.2.0.tar.GZ # MV Hadoop-1.2.0 Hadoop # Chown -R Hadoop/Opt/Hadoop # CD/OPT/Hadoop/Hadoop/ 

Langkah 6: Konfigurasikan Hadoop

Fail konfigurasi Hadoop pertama dan membuat perubahan berikut.
6.1 Edit tapak teras.XML

# vim conf/tapak teras.XML 

#Add yang berikut di dalam tag konfigurasi fs.lalai.Nama HDFS: // Hadoop-Master: 9000/DFS.kebenaran palsu  

6.2 Edit tapak HDFS.XML

# VIM CONF/HDFS-SITE.XML 

# Tambahkan perkara berikut di dalam tag konfigurasi DFS.data.dir/opt/hadoop/hadoop/dfs/nama/data true dfs.nama.dir/opt/hadoop/hadoop/dfs/name true dfs.Replikasi 1  

6.3 Edit tapak Mapred.XML

# vim conf/mapred-site.XML 

# Tambahkan yang berikut di dalam tag konfigurasi peta.kerja.Tracker Hadoop-Master: 9001  

6.4 Edit Hadoop-ENV.sh

# vim conf/hadoop-env.sh 

Eksport java_home =/opt/jdk1.7.0_75 Eksport HADOOP_OPTS = -djava.jaring.PRECELIPV4STACK = Eksport Benar HADOOP_CONF_DIR =/OPT/Hadoop/Hadoop/CONF 

Tetapkan java_home jalur mengikut konfigurasi sistem anda untuk java.

Langkah 7: Salin sumber Hadoop ke pelayan hamba

Setelah mengemas kini konfigurasi di atas, kita perlu menyalin fail sumber ke semua pelayan hamba.

# Su-Hadoop $ CD/OPT/Hadoop $ SCP -R Hadoop Hadoop-Slave-1:/Opt/Hadoop $ SCP -R Hadoop Hadoop-Slave-2:/Opt/Hadoop 

Langkah 8: Konfigurasikan Hadoop pada pelayan induk sahaja

Pergi ke folder sumber Hadoop di Hadoop-Master dan lakukan tetapan berikutan.

# Su - Hadoop $ CD/OPT/Hadoop/Hadoop 

$ vim conf/tuan Hadoop-Master 

$ vim conf/hamba Hadoop-Slave-1 Hadoop-Slave-2 

Format Nama Node Pada Hadoop Master Sahaja

# Su - Hadoop $ CD/OPT/Hadoop/Hadoop $ Bin/Hadoop Namenode -Format 

13/07/13 10:58:07 Maklumat Namenode.Namenode: startup_msg: /*********************************************** ***************** startup_msg: Memulakan namenode startup_msg: host = hadoop-master/192.168.1.15 startup_msg: args = [-format] startup_msg: versi = 1.2.0 startup_msg: membina = https: // svn.Apache.org/repos/ASF/Hadoop/common/cawangan/cawangan-1.2 -R 1479473; Disusun oleh 'Hortonfo' pada Mon 6 Mei 06:59:37 UTC 2013 Startup_msg: Java = 1.7.0_25 ******************************************************* ***********/13/07/13 10:58:08 Maklumat.GSET: Kapasiti Pengkomputeran untuk Blocksmap Peta 13/07/13 10:58:08 Maklumat.GSET: jenis VM = 32-bit 13/07/13 10:58:08 Maklumat.GSET: 2.0% Max Memory = 1013645312 13/07/13 10:58:08 Maklumat.GSet: Kapasiti = 2^22 = 4194304 Penyertaan 13/07/13 10:58:08 Maklumat.Gset: disyorkan = 4194304, sebenarnya = 4194304 13/07/13 10:58:08 Maklumat Namenode.FSNamesystem: fsowner = Hadoop 13/07/13 10:58:08 Maklumat Namenode.FSNamesystem: Supergroup = Supergroup 13/07/13 10:58:08 Maklumat Namenode.FSNamesystem: isPermissionEnabled = True 13/07/13 10:58:08 Maklumat Namenode.FSNamesystem: DFS.blok.membatalkan.Had = 100 13/07/13 10:58:08 Maklumat Namenode.FSNamesYstem: ISAccessTokeNenabled = False AccessKeyUpdateInterval = 0 min (s), AccessTokenLifeTime = 0 min (s) 13/07/13 10:58:08 Info Namenode.FSEditlog: DFS.namenode.suntingan.toleransi.panjang = 0 13/07/13 10:58:08 Maklumat Namenode.Namenode: Nama fail caching yang berlaku lebih daripada 10 kali 13/07/13 10:58:08 maklumat biasa.Penyimpanan: Fail gambar saiz 112 disimpan dalam 0 saat. 13/07/13 10:58:08 Maklumat Namenode.FSEditLog: Log Edit Penutup: Posisi = 4, EditLog =/Opt/Hadoop/Hadoop/DFS/Nama/Current/Edits 13/07/13 10:58:08 Maklumat Namenode.FSEditlog: Kejayaan Tutup: Truncate ke 4, editlog =/opt/Hadoop/Hadoop/DFS/Nama/Current/Edits 13/07/13 10:58:08 Maklumat Biasa.Penyimpanan: Direktori Penyimpanan/OPT/Hadoop/Hadoop/DFS/Nama telah berjaya diformat. 13/07/13 10:58:08 Maklumat Namenode.Namenode: shutdown_msg: /*********************************************** ***************** shutdown_msg: Menutup namenode di Hadoop-Master/192.168.1.15 ******************************************************* *************/ 

Langkah 9: Mulakan Perkhidmatan Hadoop

Gunakan arahan berikut untuk memulakan semua perkhidmatan Hadoop di Hadoop-Master

$ bin/permulaan-semua.sh