Cara Memasang dan Mengkonfigurasi Pengurus Cloudera di CentOS/RHEL 7 - Bahagian 3

Dalam artikel ini, kami menerangkan proses langkah demi langkah untuk dipasang Pengurus Cloudera Seperti amalan perindustrian. Dalam Bahagian 2, kami sudah melalui prasyarat Cloudera, pastikan semua pelayan disediakan dengan sempurna.

Keperluan

• Amalan Terbaik untuk Menggunakan Hadoop Server di CentOS/RHEL 7 - Bahagian 1
• Menyediakan prasyarat Hadoop dan pengerasan keselamatan - Bahagian 2

Di sini kita akan mempunyai 5 kluster nod di mana 2 tuan dan 3 pekerja. Saya telah menggunakan 5 AWS EC2 contoh untuk menunjukkan prosedur pemasangan. Saya telah menamakan 5 pelayan seperti di bawah.

Master1.Tecmint.com master2.Tecmint.com pekerja1.Tecmint.com pekerja2.Tecmint.com pekerja3.Tecmint.com 

Pengurus Cloudera adalah alat pentadbiran dan pemantauan untuk keseluruhannya Cdh. Kami pentadbir biasanya menyebutnya alat pengurusan untuk Cloudera Hadoop. Kami boleh menggunakan, memantau, mengawal, dan membuat perubahan konfigurasi dengan penggunaan alat ini. Ini sangat penting untuk menguruskan keseluruhan kelompok.

Berikut adalah kegunaan penting pengurus cloudera.

• Menyebarkan dan mengkonfigurasi kelompok Hadoop dengan cara automatik.
• Memantau kesihatan kluster
• Konfigurasikan makluman
• Penyelesaian masalah
• Pelaporan
• Membuat Laporan Penggunaan Kluster
• Mengkonfigurasi sumber secara dinamik

Langkah 1: Memasang pelayan web Apache di CentOS

Kami akan menggunakan Master1 Sebagai pelayan web untuk repositori Cloudera. Juga, pengurus Cloudera adalah webui, jadi kita perlu mempunyai Apache dipasang. Ikuti langkah di bawah untuk memasang pelayan web Apache.

# yum -y pasang httpd 

Setelah dipasang httpd, mulakannya dan aktifkan supaya ia akan dimulakan pada boot.

# Systemctl Mula Httpd # Systemctl Dayakan Httpd 

Setelah memulakan HTTPD, pastikan statusnya.

# status systemctl httpd 

CHECK-APACHE-MATUS

Setelah memulakan HTTPD, buka penyemak imbas dalam sistem tempatan anda dan tampal alamat IP Master1 Di bar carian, anda harus mendapatkan halaman ujian ini untuk memastikan HTTPD berjalan dengan baik.

Semak laman web Apache

Langkah 2: Konfigurasikan DNS tempatan untuk menyelesaikan IP dan nama hos

Kita perlu mempunyai pelayan DNS atau konfigurasikan /etc/hos Untuk menyelesaikan IP dan nama host. Di sini kita mengkonfigurasi /etc/hos, Tetapi pada masa nyata, pelayan DNS yang berdedikasi akan berada di sana untuk persekitaran pengeluaran.

Ikuti langkah di bawah untuk membuat entri untuk semua pelayan anda di /etc/hos.

# vi /etc /hosts 

Ini harus dikonfigurasikan di semua pelayan.

13.235.27.144 Master1.Tecmint.com Master1 13.235.135.170 Master2.Tecmint.com master2 15.206.167.94 Pekerja1.Tecmint.Com Worker1 13.232.173.158 Pekerja2.Tecmint.com worker2 65.0.182.222 Pekerja3.Tecmint.com pekerja3 

Konfigurasikan DNS tempatan

Langkah 3: Konfigurasikan log masuk tanpa kata laluan SSH

Pengurus Cloudera sedang dipasang pada Master1 Dalam demonstrasi ini. Kita perlu mengkonfigurasi ssh yang kurang kata laluan dari Master1 kepada semua nod lain. Kerana ia Pengurus Cloudera Akan menggunakan SSH untuk menyampaikan semua nod lain untuk memasang pakej.

Ikuti langkah di bawah untuk mengkonfigurasi ssh yang kurang kata laluan dari Master1 kepada semua pelayan yang tinggal. Kami akan mempunyai pengguna 'Tecmint'Untuk meneruskan lebih jauh.

Buat pengguna 'Tecmint'Semua 4 pelayan menggunakan perintah userAdd seperti yang ditunjukkan.

# useradd -m tecmint 

Untuk memberikan keistimewaan akar kepada pengguna 'Tecmint', Masukkan garis di bawah /etc/sudoers fail. Anda boleh menambah garis ini di bawah akar seperti yang diberikan dalam tangkapan skrin.

tecmint semua = (semua) semua 

Tambahkan pengguna ke sudo

Beralih ke pengguna 'Tecmint'dan buat kunci ssh di Master1 Menggunakan arahan di bawah.

# sudo su tecmint $ ssh-keygen 

Sekarang salin kekunci yang dibuat kepada semua 4 pelayan dengan menggunakan SSH-COPY-ID arahan seperti yang ditunjukkan.

$ ssh-copy-id -i ~/.SSH/ID_RSA.pub [dilindungi e-mel] $ ssh-copy-id -i ~/.SSH/ID_RSA.pub [dilindungi e-mel] $ ssh-copy-id -i ~/.SSH/ID_RSA.pub [dilindungi e-mel] $ ssh-copy-id -i ~/.SSH/ID_RSA.pub [dilindungi e -mel] 

Sekarang anda harus dapat SSH dari Master1 untuk tinggal semua pelayan tanpa kata laluan seperti yang ditunjukkan.

$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3 

Pelayan log masuk tanpa kata laluan ssh

Langkah 4: Memasang dan Mengkonfigurasi Pengurus Cloudera

Kita boleh menggunakan vendor (Cloudera) repositori untuk memasang semua pakej menggunakan alat pengurusan pakej di rhel/centos. Dalam masa nyata, mewujudkan repositori kita sendiri adalah amalan terbaik kerana kita mungkin tidak mempunyai akses internet di pelayan pengeluaran.

Di sini kita akan memasang Pengurus Cloudera 6.3.1 pembebasan. Oleh kerana kita akan menggunakan Master1 Sebagai pelayan repo, kami memuat turun pakej di jalan yang disebut di bawah.

Buat direktori yang disebut di bawah Master1 pelayan.

$ sudo mkdir -p/var/www/html/cloudera -repos/cm6 

Kami boleh menggunakan alat wget untuk memuat turun pakej melalui HTTP. Jadi, pasang wget Menggunakan arahan di bawah.

$ sudo yum -y memasang wget 

Seterusnya, muat turun fail tar pengurus cloudera menggunakan perintah wget berikut.

$ wget https: // arkib.Cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.Gz 

Ekstrak fail tar ke /var/www/html/cloudera-repos/cm6, sudah kita buat Master1 sebagai webserver dengan memasang http Dan kami telah menguji penyemak imbas.

$ sudo tar xvfz cm6.3.1-redhat7.tar.GZ -C/VAR/WWW/HTML/CLOUDERA-REPOS/CM6--Strip-Components = 1 

Sekarang, sahkan bahawa semua fail rpm cloudera ada di sana /var/www/html/cloudera-repos/cm6/rpms/x86_64 direktori.

$ cd/var/www/html/cloudera-repos/cm6 $ ll 

Senaraikan fail cloudera

Buat /etc/yum.repos.D/Cloudera-Manager.repo Fail di semua pelayan di host cluster dengan kandungan berikut, di sini Master1 (65.0.101.148) adalah pelayan web.

[cloudera-repo] name = cloudera-manager baseUrl = http: /// cloudera-repos/cm6/enabled = 1 gpgcheck = 0 

Sekarang repositori telah ditambah, jalankan arahan di bawah untuk melihat repositori yang diaktifkan.

$ yum repolist 

Senaraikan Repositori Cloudera

Jalankan arahan di bawah untuk melihat semua pakej berkaitan Cloudera yang ada di repositori.

Senarai $ yum tersedia | grep cloudera* 

Senaraikan pakej cloudera

Pasang Cloudera-Manager-Server, Cloudera-Manager-Agent, Cloudera-Manager-Daemons Cloudera-Manager-Server-Db-2.

$ sudo yum memasang cloudera-manager-daemons cloudera-manager-agent cloudera-manager-pelayan cloudera-manager-server-db-2 

Pasang Cloudera di Centos

Jalankan arahan di bawah untuk melihat semua pakej cloudera yang dipasang.

Senarai $ yum dipasang | grep cloudera* 

Senaraikan pakej cloudera yang dipasang

Jalankan arahan di bawah untuk memulakan Cloudera-scm-server-db yang merupakan pangkalan data asas untuk disimpan Pengurus Cloudera dan metadata perkhidmatan lain.

Secara lalai, Cloudera akan datang dengan Postgre-SQL yang tertanam di Pengurus Cloudera. Kami memasang yang tertanam, dalam pangkalan data luaran masa nyata yang boleh digunakan. Ia boleh menjadi Oracle, Mysql, atau PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db 

Jalankan arahan di bawah untuk memeriksa status pangkalan data.

$ sudo systemctl status cloudera-scm-server-db 

Semak status pangkalan data Cloudera

Konfigurasikan db.sifat untuk Pengurus Cloudera pelayan.

$ vi/etc/cloudera-scm-server/db.sifat 

Konfigurasikan nilai di bawah adalah Tertanam untuk membuat Pengurus Cloudera menggunakan Pangkalan data tertanam.

com.Cloudera.cmf.db.setuptype = tertanam 

Konfigurasikan sifat pangkalan data Cloudera

Jalankan arahan di bawah untuk memulakan pelayan Pengurus Cloudera.

$ sudo systemctl start cloudera-scm-server 

Jalankan arahan di bawah untuk memeriksa status Pengurus Cloudera pelayan.

$ sudo systemctl status cloudera-scm-server 

Semak status pengurus Cloudera

Jalankan arahan di bawah untuk memulakan dan periksa status Pengurus Cloudera ejen.

$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 

Semak status ejen pengurus Cloudera

Sekali Pelayan Pengurus Cloudera Berjaya dan berjalan dengan baik, anda boleh melihat webUI (halaman log masuk) di penyemak imbas menggunakan alamat IP dan nombor port 7180 yang merupakan nombor port Pengurus Cloudera.

https: // 65.0.101.148: 7180 

Log masuk Pengurus Cloudera

Ringkasan

Dalam artikel ini, kita telah melihat langkah demi langkah untuk memasang Pengurus Cloudera pada Centos 7. Kami akan melihat CDH dan pemasangan perkhidmatan lain dalam artikel seterusnya.