Cara Menyiapkan Hadoop 2.6.5 (kelompok nod tunggal) di Ubuntu, Centos dan Fedora

Apache Hadoop 2.6.5 penambahbaikan yang ketara berbanding stabil sebelumnya 2.X.Y siaran. Versi ini mempunyai banyak penambahbaikan dalam HDFS dan MapReduce. Panduan Cara Ini Akan Membantu Anda Memasang Hadoop 2.6 di Centos/RHEL 7/6/5, Ubuntu dan sistem operasi berasaskan Debian yang lain. Artikel ini tidak termasuk konfigurasi keseluruhan untuk persediaan Hadoop, kami hanya mempunyai konfigurasi asas yang diperlukan untuk mula bekerja dengan Hadoop.

Langkah 1: Memasang Java

Java adalah keperluan utama untuk persediaan Hadoop pada mana -mana sistem, jadi pastikan anda memasang Java pada sistem anda menggunakan arahan berikut.

# Java -versi Java Versi "1.8.0_101 "Java (TM) SE Runtime Environment (membina 1.8.0_131-b11) Java Hotspot (TM) 64-bit Server VM (membina 25.131-b11, mod campuran) 

Sekiranya anda tidak memasang Java pada sistem anda, gunakan salah satu pautan berikut untuk memasangnya terlebih dahulu.

Pasang Java 8 di CentOS/RHEL 7/6/5
Pasang Java 8 di Ubuntu

Langkah 2: Membuat pengguna Hadoop

Kami mengesyorkan membuat akaun biasa (atau akar) untuk Hadoop bekerja. Oleh itu, buat akaun sistem menggunakan arahan berikut.

# Adduser Hadoop # Passwd Hadoop 

Setelah membuat akaun, ia juga perlu menyediakan SSH berasaskan utama ke akaunnya sendiri. Untuk melakukan penggunaan ini melaksanakan arahan berikut.

# su -Hadoop $ ssh -keygen -t rsa $ Cat ~/.SSH/ID_RSA.pub >> ~/.SSH/Authorized_keys $ chmod 0600 ~/.SSH/Authorized_keys 

Mari sahkan log masuk berasaskan kunci. Perintah di bawah tidak boleh meminta kata laluan tetapi kali pertama ia akan meminta untuk menambah RSA ke senarai tuan rumah yang diketahui.

$ ssh localhost $ keluar 

Langkah 3. Memuat turun Hadoop 2.6.5

Sekarang muat turun Hadoop 2.6.0 fail arkib sumber menggunakan arahan di bawah. Anda juga boleh memilih cermin muat turun alternatif untuk meningkatkan kelajuan muat turun.

$ cd ~ $ wget http: // www-eu.Apache.Org/Dist/Hadoop/Common/Hadoop-2.6.5/Hadoop-2.6.5.tar.GZ $ TAR XZF HADOOP-2.6.5.tar.GZ $ MV Hadoop-2.6.5 Hadoop 

Langkah 4. Konfigurasikan mod yang diedarkan pseudo Hadoop

4.1. Persediaan Pembolehubah Persekitaran Hadoop

Pertama, kita perlu menetapkan penggunaan pembolehubah persekitaran oleh Hadoop. Edit ~/.Bashrc fail dan tambah nilai berikut pada akhir fail.

eksport hadoop_home =/home/hadoop/hadoop eksport Hadoop_install = $ Hadoop_Home Export Hadoop_Mapred_Home = $ Hadoop_Home Export Hadoop_Common_Home = $ Hadoop_Home Export Hadoop_Hdfs_Home = $ HADOOP_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_HOME_Home HADOOP_HOME/SBIN: $ HADOOP_HOME/BIN 

Sekarang gunakan perubahan dalam persekitaran berjalan semasa

$ sumber ~/.Bashrc 

Sekarang edit $ Hadoop_Home/etc/Hadoop/Hadoop-ENV.sh fail dan tetapkan Java_home pembolehubah persekitaran. Tukar laluan Java mengikut pemasangan pada sistem anda.

Eksport java_home =/opt/jdk1.8.0_131/ 

4.2. Edit fail konfigurasi

Hadoop mempunyai banyak fail konfigurasi, yang perlu mengkonfigurasi mengikut keperluan untuk menyediakan infrastruktur Hadoop. Mari kita mulakan dengan konfigurasi dengan persediaan kluster nod tunggal Hadoop asas. Pertama, navigasi ke lokasi di bawah

$ cd $ hadoop_home/etc/hadoop 

Edit tapak teras.XML

  fs.lalai.Nama HDFS: // Localhost: 9000   

Edit tapak HDFS.XML

  DFS.Replikasi 1 DFS.nama.Fail dir: /// Home/Hadoop/Hadoopdata/HDFS/Namenode DFS.data.Fail dir: /// Home/Hadoop/Hadoopdata/HDFS/DataNode   

Edit tapak Mapred.XML

  MapReduce.Rangka Kerja.Nama benang   

Edit tapak benang.XML

  Benang.Nodemanager.Aux-Services MapReduce_Shuffle   

4.3. Format namenode

Sekarang format namenode menggunakan arahan berikut, pastikan direktori penyimpanan adalah

$ hdfs namenode -format 

Output Contoh:

15/02/04 09:58:43 Info Namenode.Namenode: startup_msg: /*********************************************** ***************** startup_msg: Memulakan namenode startup_msg: host = svr1.Tecadmin.bersih/192.168.1.133 startup_msg: args = [-format] startup_msg: versi = 2.6.5 ... 15/02/04 09:58:57 Maklumat biasa.Penyimpanan: Direktori Penyimpanan/Rumah/Hadoop/Hadoopdata/HDFS/Namenode telah berjaya diformat. 15/02/04 09:58:57 Maklumat Namenode.NnstorageretentionManager: akan mengekalkan 1 imej dengan txid> = 0 15/02/04 09:58:57 Maklumat.Exitutil: Keluar dengan Status 0 15/02/04 09:58:57 Maklumat Namenode.Namenode: shutdown_msg: /*********************************************** ***************** shutdown_msg: Menutup namenode di svr1.Tecadmin.bersih/192.168.1.133 ******************************************************* *************/ 

Langkah 5. Mula cluster Hadoop

Sekarang mulakan cluster Hadoop anda menggunakan skrip yang disediakan oleh Hadoop. Cukup navigasi ke direktori Hadoop SBIN anda dan laksanakan skrip satu persatu.

$ cd $ hadoop_home/sbin/ 

Sekarang lari start-dfs.sh Skrip.

$ start-dfs.sh 

Output Contoh:

15/02/04 10:00:34 Warn Util.NativeCodeLoader: Tidak dapat memuatkan perpustakaan asli-hadoop untuk platform anda ... menggunakan kelas binaan-java yang terbina di mana namenode permulaan yang berkenaan di localhost [localhost]: memulakan namenode, pembalakan ke/rumah/hadoop/log/log/hadoop-hadoop-namenen-svr1.Tecadmin.jaring.Out Localhost: Memulakan Datanode, Logging to/Home/Hadoop/Hadoop/Log/Hadoop-Hadoop-Datanode-SVR1.Tecadmin.jaring.keluar bermula namenode sekunder [0.0.0.0] Keaslian tuan rumah '0.0.0.0 (0.0.0.0) 'Tidak dapat ditubuhkan. Cap jari utama RSA ialah 3C: C4: F6: F1: 72: D9: 84: F9: 71: 73: 4A: 0D: 55: 2C: F9: 43. Adakah anda pasti mahu terus menyambung (ya/tidak)? Ya 0.0.0.0: Amaran: Tambah secara kekal '0.0.0.0 '(RSA) ke senarai tuan rumah yang diketahui. 0.0.0.0: Memulakan Secondarynamenode, Logging to/Home/Hadoop/Hadoop/Log/Hadoop-Hadoop-Secondarynamenode-SVR1.Tecadmin.jaring.keluar 15/02/04 10:01:15 WARN UTIL.NativeCodeLoader: Tidak dapat memuatkan Perpustakaan Native-Hadoop untuk platform anda ... menggunakan kelas Builtin-Java yang berkenaan 

Sekarang lari Start-Yarn.sh Skrip.

$ start-yarn.sh 

Output Contoh:

Memulakan Daemon Benang Bermula ResourceManager, Logging to/Home/Hadoop/Hadoop/Log/Benang-Hadoop-Resourcemanager-Svr1.Tecadmin.jaring.Out Localhost: Memulakan Nodemanager, Logging to/Home/Hadoop/Hadoop/Log/Benang-Hadoop-Nodemanager-Svr1.Tecadmin.jaring.keluar 

Langkah 6. Akses Perkhidmatan Hadoop dalam Penyemak Imbas

Hadoop Namenode bermula pada lalai port 50070. Akses pelayan anda di port 50070 di pelayar web kegemaran anda.

http: // svr1.Tecadmin.Bersih: 50070/ 

Sekarang akses port 8088 untuk mendapatkan maklumat mengenai cluster dan semua aplikasi

http: // svr1.Tecadmin.Bersih: 8088/ 

Port Akses 50090 untuk mendapatkan butiran mengenai namenode sekunder.

http: // svr1.Tecadmin.Bersih: 50090/ 

Port Akses 50075 untuk mendapatkan butiran mengenai Datanode

http: // svr1.Tecadmin.Bersih: 50075/ 

Langkah 7. Ujian persediaan nod tunggal Hadoop

7.1 - Buat direktori HDFS diperlukan menggunakan arahan berikut.

$ bin/hdfs dfs -mkdir/user $ bin/hdfs dfs -mkdir/user/hadoop 

7.2 - Sekarang salin semua fail dari sistem fail tempatan/var/log/httpd ke sistem fail diedarkan Hadoop menggunakan arahan di bawah

$ bin/hdfs dfs -put/var/log/httpd logs 

7.3 - Sekarang semak Hadoop sistem fail yang diedarkan dengan membuka URL di bawah dalam penyemak imbas.

 http: // svr1.Tecadmin.Bersih: 50070/Explorer.html#/user/hadoop/log 

7.4 - Sekarang salin direktori log untuk sistem fail yang diedarkan Hadoop ke sistem fail tempatan.

$ bin/hdfs dfs -get logs/tmp/logs $ ls -l/tmp/log/ 

Anda juga boleh menyemak tutorial ini untuk menjalankan contoh kerja WordCount MapReduce menggunakan baris arahan.