Amalan Terbaik untuk Menggunakan Hadoop Server di CentOS/RHEL 7 - Bahagian 1

Dalam siri artikel ini, kita akan menutup seluruh Bangunan Cluster Cloudera Hadoop membina dengan Vendor dan Perindustrian Amalan terbaik yang disyorkan.

Bahagian 1: Amalan terbaik untuk menggunakan pelayan Hadoop di CentOS/RHEL 7 Bahagian 2: Menyediakan prasyarat Hadoop dan pengerasan keselamatan Bahagian 3: Cara Memasang dan Mengkonfigurasi Pengurus Cloudera di CentOS/RHEL 7 Bahagian 4: Cara memasang CDH dan konfigurasikan penempatan perkhidmatan di CentOS/RHEL 7 Bahagian 5: Cara menubuhkan ketersediaan tinggi untuk namenode Bahagian 6: Cara menubuhkan ketersediaan tinggi untuk pengurus sumber Bahagian 7: Cara memasang dan mengkonfigurasi sarang dengan ketersediaan yang tinggi Bahagian 8: Cara Memasang dan Konfigurasi Sentry (Alat Kebenaran) Bahagian 9: Cara Memasang Kerberos (Kerberising cluster) untuk Pengesahan Hadoop Bahagian 10: Cara Menala Kluster (Tuning Benang) di CentOS/RHEL 7

OS pemasangan dan melakukan OS Tahap prasyarat adalah langkah pertama untuk membina a Kluster Hadoop. Hadoop Boleh berjalan di pelbagai rasa platform Linux: Centos, Topi merah, Ubuntu, Debian, Suse dan lain-lain., Dalam pengeluaran masa nyata, sebahagian besar Kelompok Hadoop dibina di atas RHEL/CENTOS, Kami akan menggunakannya Centos 7 untuk demonstrasi dalam siri tutorial ini.

Dalam organisasi, pemasangan OS boleh dilakukan dengan menggunakan sepakan permulaan. Sekiranya ia adalah kluster 3 hingga 4 nod, pemasangan manual mungkin tetapi jika kita membina kluster besar dengan lebih daripada 10 nod, ia membosankan untuk memasang OS satu persatu. Dalam senario ini, kaedah kickstart masuk ke dalam gambar, kita boleh meneruskan pemasangan massa menggunakan kickstart.

Mencapai prestasi yang baik dari a Persekitaran Hadoop bergantung pada peruntukan perkakasan & perisian yang betul. Jadi, membina pengeluaran Kluster Hadoop melibatkan banyak pertimbangan mengenai perkakasan dan perisian.

Dalam artikel ini, kami akan melalui pelbagai tanda aras mengenai pemasangan OS dan beberapa amalan terbaik untuk digunakan Pelayan Cluster Cloudera Hadoop pada Centos/RHEL 7.

Pertimbangan penting dan amalan terbaik untuk menggunakan pelayan Hadoop

Berikut adalah amalan terbaik untuk ditubuhkan Pelayan Cluster Cloudera Hadoop pada Centos/RHEL 7.

• Pelayan Hadoop tidak memerlukan pelayan standard perusahaan untuk membina kelompok, ia memerlukan perkakasan komoditi.
• Dalam kelompok pengeluaran, mempunyai 8 hingga 12 cakera data disyorkan. Mengikut sifat beban kerja, kita perlu memutuskan perkara ini. Sekiranya kelompok itu adalah untuk aplikasi yang berintensifkan, mempunyai 4 hingga 6 pemacu adalah amalan terbaik untuk mengelakkan masalah I/O.
• Pemacu data harus dibahagikan secara individu, contohnya - bermula dari /Data01 ke /Data10.
• Konfigurasi RAID tidak disyorkan untuk nod pekerja, kerana Hadoop sendiri memberikan toleransi kesalahan pada data dengan mereplikasi blok menjadi 3 secara lalai. Jadi Jbod adalah yang terbaik untuk nod pekerja.
• Untuk pelayan induk, RAID 1 adalah amalan terbaik.
• Sistem fail lalai pada Centos/RHEL 7.x adalah Xfs. Hadoop menyokong XFS, EXT3, dan EXT4. Sistem fail yang disyorkan adalah ext3 kerana ia diuji untuk prestasi yang baik.
• Semua pelayan harus mempunyai versi OS yang sama, yang sama dengan pelepasan kecil yang sama.
• Amalan terbaik untuk mempunyai perkakasan homogen (semua nod pekerja harus mempunyai ciri perkakasan yang sama (RAM, ruang cakera & teras dll).
• Menurut beban kerja kelompok (beban kerja seimbang, mengira intensif, I/O intensif) dan saiz, sumber (RAM, CPU) perancangan setiap pelayan akan menjadi berbeza.

Cari contoh di bawah untuk pembahagian cakera pelayan penyimpanan 24TB.

Pembahagian cakera

Memasang CentOS 7 untuk Penyebaran Pelayan Hadoop

Perkara yang perlu anda ketahui sebelum memasang Centos 7 pelayan untuk Pelayan Hadoop.

• Pemasangan minimum sudah cukup untuk Pelayan Hadoop (nod pekerja), dalam beberapa kes, GUI boleh dipasang hanya untuk pelayan induk atau pelayan pengurusan di mana kita boleh menggunakan pelayar untuk UI web alat pengurusan.
• Mengkonfigurasi rangkaian, nama host, dan tetapan berkaitan OS lain boleh dilakukan selepas pemasangan OS.
• Dalam masa nyata, vendor pelayan akan mempunyai konsol mereka sendiri untuk berinteraksi dan menguruskan pelayan, contohnya - pelayan Dell mempunyai IDRAC yang merupakan peranti, tertanam dengan pelayan. Menggunakan antara muka IDRAC, kami boleh memasang OS dengan mempunyai imej OS dalam sistem tempatan kami.

Dalam artikel ini, kami telah memasang OS (Centos 7) dalam mesin maya vmware. Di sini, kami tidak akan mempunyai banyak cakera untuk melaksanakan partition. CentOS sama dengan RHEL (fungsi yang sama), jadi kita akan melihat langkah -langkah untuk dipasang Centos.

1. Mulakan dengan memuat turun CentOS 7.Imej X ISO dalam sistem Windows tempatan anda dan pilihnya semasa boot mesin maya. Pilih 'Pasang CentOS 7' seperti yang ditunjukkan.

Pasang menu boot CentOS 7

2. Pilih Bahasa, lalai akan Bahasa Inggeris, dan klik Teruskan.

Pilih bahasa CentOS 7

3. Pemilihan perisian - Pilih 'Pemasangan minimum'dan klik'Selesai'.

Pemilihan Perisian CentOS CentOS 7 pemasangan minimum

4. Menetapkan kata laluan root kerana ia akan mendorong kita untuk menetapkan.

Tetapkan kata laluan root

5. Destinasi pemasangan - Ini adalah langkah penting untuk berhati -hati. Kita perlu memilih cakera di mana OS perlu dipasang, cakera khusus harus dipilih untuk OS. Klik 'Destinasi pemasangan'Dan pilih cakera, dalam pelbagai cakera masa nyata akan berada di sana, kita perlu memilih, lebih baik'SDA'.

Pilih destinasi pemasangan Pilih cakera untuk pemasangan CentOS

6. Pilihan storan lain - Pilih pilihan kedua (saya akan mengkonfigurasi pembahagian) untuk mengkonfigurasi pemisahan berkaitan OS seperti /var, /var/log, /rumah, /TMP, /Memilih, /menukar.

Pembahagian Centos Manual

7. Setelah selesai, mulakan pemasangan.

Mulakan pemasangan CentOS Pemasangan CentOS 7

8. Setelah pemasangan selesai, reboot pelayan.

Pemasangan CentOS 7 Lengkap

9. Log masuk ke pelayan dan tetapkan nama hos.

# hostnamectl status # hostnamect set-hostname tecmint # hostnamectl status 

Tetapkan Nama Host di CentOS

Ringkasan

Dalam artikel ini, kami telah melalui langkah pemasangan OS dan amalan terbaik untuk pemisahan sistem fail. Ini semua garis panduan umum, mengikut sifat beban kerja, kita mungkin perlu menumpukan perhatian kepada lebih banyak nuansa untuk mencapai prestasi terbaik kluster. Perancangan kluster adalah seni untuk Hadoop pentadbir. Kami akan menyelam mendalam ke tahap pra-syarat dan pengerasan keselamatan dalam artikel seterusnya.