Pasang dan konfigurasi Apache Oozie Workflow Scheduler untuk CDH 4.X pada rhel/centos 6/5

Oozie adalah penjadual sumber terbuka untuk Hadoop, ia memudahkan aliran kerja dan penyelarasan antara pekerjaan. Kami dapat menentukan kebergantungan antara pekerjaan untuk data input dan oleh itu dapat mengautomasikan pergantungan pekerjaan menggunakan penjadual ooze.

Dalam tutorial ini, saya telah memasang Oozie pada nod tuan saya (i.e. tuan sebagai nama host dan di mana Namenode/JT dipasang) namun dalam sistem pengeluaran oozie harus dipasang pada nod Hadoop yang berasingan.

Arahan pemasangan dibahagikan kepada dua bahagian, kami memanggilnya A dan B.

1. A. Pemasangan Oozie.
2. B. Konfigurasi Oozie.

Mari kita sahkan nama hos sistem terlebih dahulu, menggunakan berikut 'Nama Host'Perintah.

[[dilindungi e -mel]]# HostName tuan

Kaedah A: Pemasangan Oozie pada RHEL/CentOS 6/5

Kami menggunakan repositori CDH rasmi dari laman Cloudera untuk memasang CDH4. Pergi ke bahagian muat turun CDH rasmi dan muat turun CDH4 (i.e. 4.6) versi atau anda juga boleh menggunakan berikut wget Perintah untuk memuat turun repositori dan pasangkannya.

Pada rhel/centos 6

# wget http: // arkib.Cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm # yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm # wget http: // arkib.Cloudera.com/cdh4/satu klik-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Pada RHEL/CentOS 5

# wget http: // arkib.Cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm # yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm # wget http: // arkib.Cloudera.com/cdh4/satu klik-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Sekali, anda telah menambah repositori CDH di bawah sistem anda, anda boleh menggunakan arahan berikut untuk memasang Oozie pada sistem.

[[dilindungi e -mel] ~]# yum Pasang Oozie

Sekarang, pasang klien oozie (perintah di atas harus meliputi bahagian pemasangan klien tetapi jika tidak maka cuba di bawah arahan).

[[dilindungi e-mel] ~]# yum Pasang Oozie-Client

Catatan: Pemasangan di atas juga mengkonfigurasi perkhidmatan Oozie untuk dijalankan pada permulaan sistem. Syabas! Kami selesai dengan bahagian pertama pemasangan sekarang mari kita pindah ke bahagian kedua untuk mengkonfigurasi oozie.

Kaedah B: Konfigurasi Oozie pada RHEL/CentOS 6/5

Oleh kerana Oozie tidak berinteraksi secara langsung dengan Hadoop, kami tidak memerlukan konfigurasi yang dipetakan di sini.

Berhati -hati: Sila konfigurasikan semua tetapan semasa Oozie tidak berjalan, itu bermakna anda harus mengikuti langkah -langkah di bawah sementara perkhidmatan Oozie tidak berjalan.

Oozie mempunyai 'Derby'Sebagai lalai yang dibina dalam db bagaimanapun, saya akan mengesyorkan agar anda menggunakan mysql db. Oleh itu, mari pasang pangkalan data MySQL menggunakan artikel berikut.

1. Pasang pangkalan data MySQL di RHEL/CentOS 6/5

Sebaik sahaja anda selesai dengan bahagian pemasangan, langkah seterusnya akan lebih jauh untuk membuat Oozie DB dan memberikan keistimewaan seperti yang ditunjukkan di bawah.

[[dilindungi e -mel] ~]# mysql -uroot -p Masukkan kata laluan: Selamat datang ke Monitor MySQL. Perintah berakhir dengan; atau \ g. ID sambungan mysql anda ialah 3 versi pelayan: 5.5.38 Server Komuniti MySQL (GPL) oleh Remi Copyright (c) 2000, 2014, Oracle dan/atau sekutunya. Hak cipta terpelihara. Oracle adalah tanda dagangan berdaftar Oracle Corporation dan/atau sekutunya. Nama lain mungkin menjadi tanda dagangan pemilik masing -masing. Taipkan 'bantuan;' atau '\ h' untuk mendapatkan bantuan. Taipkan '\ c' untuk membersihkan pernyataan input semasa. mysql> Buat Oozie Pangkalan Data; Pertanyaan ok, 1 baris terjejas (0.00 saat) mysql> Beri semua keistimewaan di Oozie.* kepada 'oozie'@'localhost' yang dikenal pasti oleh 'Oozie'; Pertanyaan ok, 0 baris terjejas (0.00 saat) mysql> Beri semua keistimewaan di Oozie.* kepada 'oozie'@'%' yang dikenal pasti oleh 'Oozie'; Pertanyaan ok, 0 baris terjejas (0.00 saat) mysql> keluar Bye

Seterusnya, konfigurasikan sifat oozie untuk mysql. Buka 'Tapak Oozie.XML'Fail dan edit sifat berikut seperti yang ditunjukkan.

[[dilindungi e-mel] ~]# cd/etc/oozie/conf [[dilindungi e-mel] conf]# vi oozie-site.XML

Masukkan sifat berikut (hanya ganti tuan [saya Nama Host] dengan anda Nama Host).

 Oozie.perkhidmatan.Jpaservice.JDBC.Pemandu com.mysql.JDBC.Pemandu Oozie.perkhidmatan.Jpaservice.JDBC.URL JDBC: MySQL: //tuan: 3306/Oozie Oozie.perkhidmatan.Jpaservice.JDBC.Nama pengguna Oozie Oozie.perkhidmatan.Jpaservice.JDBC.Oozie kata laluan 

Muat turun dan tambahkan MySQL JDBC balang pemacu sambungan ke direktori lib oozie. Untuk berbuat demikian, jalankan arahan yang serius di terminal.

[[dilindungi e -mel] oozie]# cd/tmp/[[e -mel dilindungi] tmp]# wget http: // dev.mysql.com/get/muat turun/penyambung-j/mysql-connector-java-5.1.31.tar.GZ [[dilindungi e-mel] tmp]# tar -zxf mysql-connector-java-5.1.31.tar.GZ [[dilindungi e-mel] TMP]# CD MySQL-CONNECTOR-JAVA-5.1.31 [[dilindungi e-mel] MySQL-Connector-Java-5.1.31]# CP MySQL-Connector-Java-5.1.31-bin.balang/var/lib/oozie/

Buat skema pangkalan data Oozie dengan melaksanakan arahan di bawah dan sila ambil perhatian bahawa ini harus dijalankan sebagai pengguna oozie.

[[dilindungi e -mel] ~]# sudo -u oozie/usr/lib/oozie/bin/ooziedb.sh create -run

Output sampel

menetapkan oozie_config =/etc/oozie/conf setting oozie_data =/var/lib/oozie tetapan oozie_log =/var/log/oozie tetapan oozie_catalina_home =/usr/lib/bigtop-tomcat tetapan catalina_tmpdir =/var/lib/lib/lib/lib/lib/lib/lib/lib/lib/lib/ /var/run/oozie/oozie.tetapan pid catalina_base =/usr/lib/oozie/oozie-server-0.20 Tetapan Catalina_Opts = -xmx1024m Tetapan Oozie_Https_port = 11443 ... Selesai Oozie DB telah dibuat untuk versi oozie '3.3.2-CDH4.7.0 'Perintah SQL telah ditulis kepada: /tmp/ooziedb-825040558851365350.SQL

Anda perlu memuat turun Extjs lib dari internet untuk membolehkan konsol web oozie. Pergi ke halaman CDH Extjs rasmi, dan muat turun Extjs versi 2.2 perpustakaan atau anda boleh memuat turun pakej menggunakan arahan berikut.

[[dilindungi e -mel] ~]# cd/tmp/[[e -mel dilindungi] tmp]# wget http: // arkib.Cloudera.com/gplextras/misc/ext-2.2.zip [[dilindungi e-mel] tmp]# unzip ext-2.2.zip [[dilindungi e-mel] tmp]# mv ext-2.2/var/lib/oozie/

Akhirnya, mulakan pelayan Oozie, dengan menjalankan arahan berikut.

[[dilindungi e -mel] tmp]# status oozie perkhidmatan tidak berjalan. [[dilindungi e -mel] tmp]# service oozie start [[e -mel dilindungi] tmp]# perkhidmatan status oozie berjalan [[dilindungi e -mel] tmp]# oozie admin -oozie http: // localhost: 11000/oozie -status Mod sistem: Normal

Buka Oozie UI menggunakan penyemak imbas kegemaran anda, dan tunjuk ke alamat IP anda. Dalam kes ini, IP saya adalah 192.168.1.129.

http: // 192.168.1.129: 11000

Sekarang jika anda melihat ui ini. Tahniah!! Anda telah berjaya mengkonfigurasi Oozie.

Prosedur ini telah berjaya diuji RHEL/Centos 6/5. Dalam artikel saya yang akan datang, saya akan berkongsi cara mengkonfigurasi dan menjadualkan pekerjaan Hadoop melalui Oozie. Tetap berhubung lebih banyak dan jangan lupa mengulas maklum balas anda.