Cara Memasang Apache Kafka pada CentOS 8

Apache Kafka adalah platform streaming yang diedarkan. Ia berguna untuk membina saluran paip data streaming masa nyata untuk mendapatkan data antara sistem atau aplikasi. Ciri lain yang berguna adalah aplikasi streaming masa nyata yang dapat mengubah aliran data atau bertindak balas pada aliran data.

Tutorial ini akan membantu anda memasang Apache Kafka Centos 8 atau Rhel 8 Linux Systems.

Prasyarat

• Sistem yang baru dipasang disyorkan untuk mengikuti persediaan pelayan awal.
• Akses Shell ke Sistem CentOS 8 dengan Akaun Keistimewaan Sudo.

Langkah 1 - Pasang Java

Anda mesti memasang Java pada sistem anda untuk menjalankan Apache Kafka. Anda boleh memasang OpenJDK pada mesin anda dengan melaksanakan arahan berikut. Juga, pasang beberapa alat lain yang diperlukan.

sudo dnf memasang java-11-openjdk wget vim  

Langkah 2 - Muat turun Apache Kafka

Muat turun fail binari Apache Kafka dari laman web muat turun rasmi. Anda juga boleh memilih cermin yang berdekatan untuk dimuat turun.

wget https: // dlcdn.Apache.org/kafka/3.2.0/Kafka_2.13-3.2.0.TGZ  

Kemudian ekstrak fail arkib

tar xzf kafka_2.13-3.2.0.TGZ  sudo mv kafka_2.13-3.2.0/usr/local/kafka  

Langkah 3 - Persediaan fail unit sistemd Kafka

CentOS 8 menggunakan SystemD untuk menguruskan keadaan perkhidmatannya. Oleh itu, kita perlu membuat fail unit sistem untuk perkhidmatan Zookeeper dan Kafka. Yang membantu kami menguruskan perkhidmatan Kafka untuk memulakan/berhenti.

Pertama, buat fail unit Systemd untuk Zookeeper dengan arahan di bawah:

VIM/etc/Systemd/System/Zookeeper.perkhidmatan 

Tambah di bawah contnet:

[Unit] Keterangan = Apache Zookeeper Server Documentation = http: // zookeeper.Apache.org memerlukan = rangkaian.Sasaran jauh-FS.sasaran selepas = rangkaian.Sasaran jauh-FS.sasaran [perkhidmatan] jenis = mudah execstart =/usr/bin/bash/usr/local/kafka/bin/zookeeper-start-start.sh/usr/local/kafka/config/zookeeper.sifat execstop =/usr/bin/bash/usr/local/kafka/bin/zookeeper-server-stop.sh restart = on-abnormal [Install] Wanteby = Multi-User.sasaran 

Simpan fail dan tutupnya.

Seterusnya, untuk membuat fail unit sistemd Kafka menggunakan arahan berikut:

Vim/etc/Systemd/System/Kafka.perkhidmatan 

Tambahkan kandungan di bawah. Pastikan untuk menetapkan yang betul Java_home jalan mengikut java yang dipasang pada sistem anda.

[Unit] Description = Apache Kafka Server Documentation = http: // kafka.Apache.org/dokumentasi.html memerlukan = zookeeper.perkhidmatan [perkhidmatan] jenis = persekitaran mudah = "java_home =/usr/lib/jvm/jre-11-openjdk" execstart =/usr/bin/bash/usr/local/kafka/bin/kafka-start-start-start-start.sh/usr/local/kafka/config/pelayan.sifat execstop =/usr/bin/bash/usr/local/kafka/bin/kafka-server-stop.SH [Pasang] Wanteby = Multi-User.sasaran 

Simpan fail dan tutupnya.

Muat semula daemon Systemd untuk menggunakan perubahan.

Systemctl Daemon-Reload 

Langkah 4 - Mula pelayan Kafka

Kafka Diperlukan Zookeeper Jadi Pertama, Mulakan Pelayan Zookeeper pada Sistem Anda. Anda boleh menggunakan skrip yang tersedia dengan Kafka untuk memulakan contoh Zookeeper tunggal.

SUDO Systemctl Mula Zookeeper 

Sekarang mulakan pelayan Kafka dan lihat status berjalan:

SUDO Systemctl Mula Kafka Sudo Systemctl Status Kafka 

Semua selesai. Anda telah berjaya memasang Kafka di CentOS 8 anda. Bahagian seterusnya tutorial ini akan membantu anda membuat topik dalam kluster Kafka dan bekerjasama dengan pengeluar dan perkhidmatan pengguna Kafka.

Langkah 5 - Membuat topik di Apache Kafka

Apache Kafka menyediakan skrip shell berganda untuk mengusahakannya. Pertama, buat topik bernama "testtopic"Dengan partition tunggal dengan replika tunggal:

CD/USR/Local/Kafka Bin/Kafka-Topics.sh --create-bootstrap-server localhost: 9092 --Replication-Factor 1-Partitions 1-Testtopic Testtopic Topic Testtopic. 

Faktor replikasi menerangkan berapa banyak salinan data yang akan dibuat. Seperti yang kita jalankan dengan satu contoh, simpan nilai ini 1.

Tetapkan pilihan partition sebagai bilangan broker yang anda mahukan data anda dibahagikan antara. Seperti yang kita jalankan dengan satu broker, menyimpan nilai ini 1.

Anda boleh membuat pelbagai topik dengan menjalankan arahan yang sama seperti di atas. Selepas itu, anda dapat melihat topik yang dibuat di Kafka dengan arahan di bawah:

Bin/Kafka-Topics.sh -list --zookeeper localhost: 9092 testtopic kafkaoncentos8 tutorialkafkainstallcentos8 

Sebagai alternatif, bukannya membuat topik secara manual, anda juga boleh mengkonfigurasi broker anda untuk membuat topik auto apabila topik yang tidak wujud diterbitkan ke.

Langkah 6 - Pengeluar dan Pengguna Apache Kafka

"Pengeluar" adalah proses yang bertanggungjawab untuk memasukkan data ke Kafka kami. Kafka dilengkapi dengan pelanggan baris arahan yang akan mengambil input dari fail atau dari input standard dan hantar sebagai mesej ke kluster Kafka. Kafka lalai menghantar setiap baris sebagai mesej berasingan.

Mari jalankan pengeluar dan kemudian taipkan beberapa mesej ke dalam konsol untuk dihantar ke pelayan.

Bin/Kafka-Console-Producer.SH --Broker-List Localhost: 9092-Testtopic Topik> Selamat Datang ke Kafka> Ini Topik Pertama Saya> 

Sekarang buka terminal baru untuk menjalankan proses pengguna Apache Kafka. Kafka juga menyediakan dan pengguna baris arahan untuk membaca data dari kluster Kafka dan memaparkan mesej ke output standard.

Bin/Kafka-Console-Consumer.SH --Bootstrap-Server Localhost: 9092-Testtopic Topic-dari-Beginning Selamat Datang ke Kafka Ini adalah topik pertama saya 

Pilihan -dari -beginning digunakan untuk membaca mesej dari awal topik yang dipilih. Anda boleh melangkau pilihan ini untuk membaca mesej terkini sahaja.

Sebagai contoh, jalankan pengeluar dan pengguna Kafka di terminal yang berasingan. Taipkan beberapa teks pada terminal pengeluar itu. ia akan dapat dilihat di terminal pengguna dengan segera. Lihat tangkapan skrin di bawah pengeluar dan pengguna Kafka dalam bekerja:

Kesimpulan

Anda telah berjaya memasang dan mengkonfigurasi perkhidmatan Kafka pada mesin CentOS 8 Linux.