Cara Memasang CDH dan Konfigurasikan Penempatan Perkhidmatan di CentOS/RHEL 7 - Bahagian 4

Dalam artikel terdahulu, kami telah menjelaskan pemasangan Pengurus Cloudera, dalam artikel ini, anda akan belajar cara memasang dan mengkonfigurasi Cdh (Cloudera Distribution Hadoop) dalam RHEL/CENTOS 7.

Semasa memasang bungkusan CDH, kami perlu memastikan Pengurus Cloudera dan Cdh keserasian. Versi Cloudera mempunyai 3 bahagian - ... Versi Utama dan Kecil Pengurus Cloudera mesti sama dengan versi utama dan kecil CDH.

Contohnya, kami menggunakan Pengurus Cloudera 6.3.1 dan CDH 6.3.2. Di sini 6 adalah utama dan 3 adalah versi kecil. Major dan Minor mestilah sama untuk mengelakkan masalah keserasian.

Keperluan

• Amalan Terbaik untuk Menggunakan Hadoop Server di CentOS/RHEL 7 - Bahagian 1
• Menyediakan prasyarat Hadoop dan pengerasan keselamatan - Bahagian 2
• Cara Memasang dan Mengkonfigurasi Pengurus Cloudera di CentOS/RHEL 7 - Bahagian 3

Kami akan mengambil 2 nod di bawah untuk memasang CDH. Sudah kami memasang Pengurus Cloudera di Master1, Kami juga menggunakan Master1 Sebagai pelayan repo.

Master1.Tecmint.com pekerja1.Tecmint.com 

Langkah 1: Muat turun petak CDH pada pelayan induk

1. Pertama, sambungkan ke Master1 pelayan dan muat turun CDH Parcels fail dalam /var/www/html/cloudera-repos/cdh direktori . Kita mesti memuat turun di bawah yang disebutkan 3 fail yang harus bersesuaian dengan RHEL/CENTOS 7.

CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.Parcel CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.Parcel.SHA1 Manifest.json 

2. Sebelum memuat turun fail ini, pastikan untuk membuat a cdh direktori di bawah /var/www/html/cloudera-repos/ Lokasi.

$ cd/var/www/html/cloudera-repos/$ sudo mkdir cdh $ cd cdh 

3. Seterusnya, muat turun 3 fail yang disebutkan di atas menggunakan arahan wget berikut.

$ sudo wget https: // arkib.Cloudera.com/cdh6/6.3.2/Parcels/CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.bungkusan $ sudo wget https: // arkib.Cloudera.com/cdh6/6.3.2/Parcels/CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.Parcel.sha1 $ sudo wget https: // arkib.Cloudera.com/cdh6/6.3.2/bungkusan/manifes.json 

Langkah 2: Setup Repo Pengurus Cloudera pada Pelanggan Pekerja

4. Sekarang, sambungkan ke pekerja pelayan dan salin fail repo (Cloudera-Manager.repo) dari pelayan repo (Master1) ke semua pelayan pekerja yang tinggal. Fail repo ini memastikan pelayan bahawa semua bungkusan dan rpms yang diperlukan akan dimuat turun dari pelayan repo semasa memasang.

kucing>/etc/yum.repos.D/Cloudera-Manager.repo < 
5. Setelah repo ditambah, senaraikan repositori yang diaktifkan untuk memastikan Cloudera-Manager repo diaktifkan.
 
$ yum repolist 
  Semak repos yang diaktifkan 
Langkah 3: Pasang Daemons dan Ejen Pengurus Cloudera di Pelayan Pekerja
 
6. Sekarang, kita perlu memasang Cloudera-Manager-Daemons dan Cloudera-Manager-Agent Di semua pelayan yang tinggal.
 
$ sudo yum memasang Cloudera-Manager-Daemons Cloudera-Manager-Agent 
  Pasang Daemons dan Ejen Pengurus Cloudera 
7. Seterusnya, anda perlu mengkonfigurasi Pengurus Cloudera ejen untuk melaporkan Pengurus Cloudera pelayan.
 
$ sudo vi/etc/cloudera-scm-agent/config.Ini 
 
Ganti localhost dengan Pengurus Cloudera Alamat IP Pelayan.
  Konfigurasikan Pengurus Cloudera 
8. Mula Pengurus Cloudera Ejen dan sahkan status.
 
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 
  Semak status pengurus Cloudera 
Langkah 4: Pasang dan persediaan CDH
 
Kita ada Cdh Parcels dalam Master1 - pelayan repo. Pastikan semua pelayan mempunyai fail repo pengurus Cloudera di /etc/yum.repos.d/ Sekiranya anda mengikuti pemasangan automatik menggunakan Pengurus Cloudera.
 
9. Log masuk ke Pengurus Cloudera menggunakan URL di bawah di Port 7180 dan gunakan nama pengguna dan kata laluan lalai Pengurus Cloudera.
 
http: // 104.211.95.96: 7180/cmf/Login Nama Pengguna: Kata Laluan Admin: Admin 
  Log masuk Pengurus Cloudera 
10. Sebaik sahaja anda log masuk, anda akan disambut dengan halaman selamat datang. Di sini anda boleh mencari nota pelepasan, ciri baru Pengurus Cloudera.
  Pengurus Cloudera selamat datang 
11. Terima lesen dan teruskan.
  Lesen Pengurus Cloudera 
12. Pilih edisi. Versi percubaan telah dipilih secara lalai, kita boleh meneruskannya.
  Edisi Pengurus Cloudera 
13. Sekarang, ikuti langkah pemasangan kluster. Teruskan halaman Selamat Datang.
  Pemasangan cluster pengurus cloudera 
14. Namakan kelompok dan teruskan, kami telah menamakan sebagai "Tecmint". Terdapat 2 jenis kelompok yang boleh anda tentukan. Kami meneruskan dengan kelompok biasa.
 
 
Kelompok biasa: Akan terdiri daripada nod penyimpanan, mengira nod, dan perkhidmatan lain yang diperlukan.
 
Kejadian kluster: Hanya terdiri daripada nod pengiraan. Penyimpanan luaran boleh digunakan untuk menyimpan data.
 
  Nama cluster pengurus cloudera 
15. Kami sudah memasang Ejen Pengurus Cloudera Di semua pelayan. Anda boleh menemui pelayan tersebut di "Pada masa ini, tuan rumah yang diuruskan". Untuk pemasangan automatik, anda perlu memasukkan FQDN atau IP pelayan di "Tuan rumah baru"Pilihan dan cari. Pengurus Cloudera secara automatik akan mengesan tuan rumah di mana kita perlu memasang CDH.
 
Di sini, klik "Pada masa ini, tuan rumah yang diuruskan", Pilih semua tuan rumah dengan memilih 'Nama Host'Dan teruskan.
  Pada masa ini, tuan rumah yang diuruskan 
16. Pilih repositori - menggunakan Parcel adalah cara yang disyorkan. Klik 'Lebih banyak pilihan'untuk mengkonfigurasi repositori.
  Pilih repositori 
17. Masukkan URL repositori tempatan seperti yang disebutkan di bawah. Keluarkan semua repositori awam yang lain yang menunjuk web (Repositori Cloudera).
  Tetapan repositori bungkusan 
Ini adalah Cdh URL repositori tempatan yang kami ada Master1.
 
http: // 104.211.95.96/Cloudera-Repos/CDH/ 
  Repo Cloudera 
18. Sebaik sahaja URL repositori dimasukkan, halaman ini akan menunjukkan hanya bungkusan yang tersedia. Teruskan langkah ini.
  Pilih tetapan repositori 
19. Sekarang bungkusan sedang dimuat turun, diedarkan, dibongkar, dan diaktifkan di semua pelayan yang ada.
  Pasang petak 
20. Sekali CDH Parcels diaktifkan, periksa Kelompok. Langkah ini akan melakukan pemeriksaan kesihatan kluster. Di sini kita melangkau dan meneruskan.
  Periksa kluster 
Langkah 5: Konfigurasi Kluster
 
21. Di sini kita perlu memilih Perkhidmatan untuk dipasang di Kelompok. Beberapa kombinasi yang dibungkus akan disediakan secara lalai, kami akan bersama Perkhidmatan tersuai.
  Konfigurasi Kluster 
22. Dalam Perkhidmatan tersuai, Kami hanya memasang Komponen teras (HDFS dan Benang) untuk tujuan demo ini.
  Memasang perkhidmatan 
23. Berikan peranan ke pelayan. Kami boleh menyesuaikan mengikut keperluan kami. Cari carta di bawah yang menggambarkan yang disyorkan Pengagihan peranan untuk kelompok kecil asas dengan 5 hingga 20 nod dengan ketersediaan tinggi.
  Berikan peranan  Pengagihan peranan yang disyorkan 
24. Pilih Jenis Pangkalan Data, Nama Hos, Nama DB, Nama Pengguna, dan Kata Laluan. Semasa kami menggunakan PostgreSQL Terbenam, ia akan dipilih secara lalai. Menguji sambungan, ia mesti berjaya.
  Pangkalan data persediaan 
25. Halaman ini akan menunjukkan parameter konfigurasi lalai HDFS dan Benang, termasuk direktori data. Semak semua butiran konfigurasi dan anda boleh membuat perubahan jika diperlukan. Kemudian teruskan dengan ini.
  Semak parameter konfigurasi 
26. Halaman ini akan menunjukkan butiran 'Larian Pertama'Perintah. Anda boleh mengembangkannya untuk melihat perincian arahan yang berjalan. Sekiranya terdapat sebarang isu rangkaian atau kebenaran dalam kelompok, langkah ini akan gagal. Biasanya, langkah ini menentukan pemasangan lancar bangunan kluster.
  Perintah lari pertama  Perintah berjalan 
27. Setelah langkah di atas selesai, klik 'Selesai'Untuk melengkapkan pemasangan. Ini adalah papan pemuka pengurus Cloudera setelah memasang CDH.
 
http: // 104.211.95.96: 7180/cmf/rumah 
  Dashboard Pengurus Cloudera 
Kesimpulan
 
Kami telah menyelesaikan Pengurus Cloudera dan Cdh Pemasangan berjaya. Di dalam Dashboard Pengurus Cloudera, Anda boleh menemui satu set carta yang telah ditetapkan di mana anda boleh memantau CPU kluster, cakera io dll. Kita dapat menguruskan keseluruhan kluster menggunakan ini Pengurus Cloudera. Kami akan melihat semua operasi pentadbiran dalam artikel yang akan datang.