Cara memasang Apache Kafka di Ubuntu 22.04

Apache Kafka adalah sumber terbuka, platform streaming acara yang diedarkan yang dibangunkan oleh Yayasan Perisian Apache. Ini ditulis dalam bahasa pengaturcaraan Scala dan Java. Anda boleh memasang Kafka di mana -mana platform yang menyokong bahasa pengaturcaraan Java.

Tutorial ini memberikan anda arahan langkah demi-langkah untuk memasang Apache Kafka di Ubuntu 22.04 LTS Linux System. Anda juga akan belajar membuat topik di Kafka dan menjalankan pengeluar dan nod pengguna.

Prasyarat

Anda mesti mempunyai akses akaun istimewa sudo ke Ubuntu 22.04 Sistem Linux.

Langkah 1 - Memasang Java

Kami boleh menjalankan pelayan Apache Kafka pada sistem yang menyokong Java. Oleh itu, pastikan, anda memasang Java pada sistem Ubuntu anda.

Gunakan arahan berikut untuk memasang OpenJDK pada sistem Ubuntu anda dari repositori rasmi.

Kemas kini sudo apt  sudo apt memasang lalai-jdk  

Sahkan versi Java aktif semasa.

Java --version  

Output: Versi OpenJDK "11.0.15 "2022-04-19 OpenJDK Runtime Environment (membina 11.0.15+10-Ubuntu-0ubuntu0.22.04.1) OpenJDK 64-bit Server VM (Bina 11.0.15+10-Ubuntu-0ubuntu0.22.04.1, mod campuran, perkongsian) 

Langkah 2 - Muat turun Apache Kafka terkini

Anda boleh memuat turun fail binari Apache Kafka terkini dari halaman muat turun rasminya. Alternatival anda boleh memuat turun Kafka 3.2.0 dengan arahan di bawah.

wget https: // dlcdn.Apache.org/kafka/3.2.0/Kafka_2.13-3.2.0.TGZ  

Kemudian ekstrak fail arkib yang dimuat turun dan letakkannya di bawah /usr/tempatan/kafka direktori.

tar xzf kafka_2.13-3.2.0.TGZ  sudo mv kafka_2.13-3.2.0/usr/local/kafka  

Langkah 3 - Buat Skrip Permulaan Systemd

Sekarang, buat fail unit systemd untuk perkhidmatan zookeeper dan kafka. Yang akan membantu anda memulakan/menghentikan perkhidmatan Kafka dengan cara yang mudah.

Pertama, buat fail unit SystemD untuk Zookeeper:

sudo nano/etc/systemd/system/zookeeper.perkhidmatan  

Dan tambahkan kandungan berikut:

[Unit] Keterangan = Apache Zookeeper Server Documentation = http: // zookeeper.Apache.org memerlukan = rangkaian.Sasaran jauh-FS.sasaran selepas = rangkaian.Sasaran jauh-FS.sasaran [perkhidmatan] jenis = mudah execstart =/usr/local/kafka/bin/zookeeper-server-start.sh/usr/local/kafka/config/zookeeper.Properties execstop =/usr/local/kafka/bin/zookeeper-server-stop.sh restart = on-abnormal [Install] Wanteby = Multi-User.sasaran 

Simpan fail dan tutupnya.

Seterusnya, buat fail unit SystemD untuk perkhidmatan Kafka:

sudo nano/etc/systemd/system/kafka.perkhidmatan  

Tambahkan kandungan di bawah. Pastikan untuk menetapkan yang betul Java_home jalan mengikut java yang dipasang pada sistem anda.

[Unit] Description = Apache Kafka Server Documentation = http: // kafka.Apache.org/dokumentasi.html memerlukan = zookeeper.perkhidmatan [perkhidmatan] jenis = persekitaran mudah = "java_home =/usr/lib/jvm/java-11-openjdk-amd64" execstart =/usr/local/kafka/bin/kafka-start.sh/usr/local/kafka/config/pelayan.sifat execstop =/usr/local/kafka/bin/kafka-server-stop.SH [Pasang] Wanteby = Multi-User.sasaran 

Simpan fail dan tutup.

Muat semula daemon Systemd untuk menggunakan perubahan baru.

SUDO Systemctl Daemon-Reload  

Ini akan memuatkan semula semua fail sistem dalam persekitaran sistem.

Langkah 4 - Mula Perkhidmatan Zookeeper dan Kafka

Mari mulakan kedua -dua perkhidmatan satu persatu. Pertama, anda perlu memulakan perkhidmatan Zookeeper dan kemudian memulakan Kafka. Gunakan perintah SystemCtl untuk memulakan contoh Zookeeper tunggal.

SUDO Systemctl Mula Zookeeper  SUDO Systemctl Mula Kafka  

Sahkan kedua -dua status perkhidmatan:

SUDO Systemctl Status Zookeeper  status status sudo kafka  

Itu sahaja. Anda telah berjaya memasang pelayan Apache Kafka di Ubuntu 22.04 Sistem. Seterusnya, kami akan membuat topik di pelayan Kafka.

Langkah 5 - Buat topik di Kafka

Kafka menyediakan skrip shell yang banyak dibina untuk mengusahakannya. Pertama, buat topik bernama "testtopic" dengan partition tunggal dengan replika tunggal:

CD/USR/Local/Kafka  Bin/Kafka-Topics.sh --create-bootstrap-server localhost: 9092-replikasi-faktor 1-Partitions 1-Testtopic Topik  

Output Testtopic Topik Dibuat. 

Di sini:

• Gunakan --Buat pilihan untuk membuat topik baru
• The --Replikasi-faktor menerangkan berapa banyak salinan data yang akan dibuat. Seperti yang kita jalankan dengan satu contoh, simpan nilai ini 1.
• Menetapkan --partition pilihan sebagai bilangan broker yang anda mahukan data anda dibahagikan antara. Seperti yang kita jalankan dengan satu broker, menyimpan nilai ini 1.
• The --topik Tentukan nama topik

Anda boleh membuat pelbagai topik dengan menjalankan arahan yang sama seperti di atas. Selepas itu, anda dapat melihat topik yang dibuat di Kafka dengan arahan di bawah:

Bin/Kafka-Topics.SH-list --bootstrap-server localhost: 9092  

Output kelihatan seperti tangkapan skrin di bawah:

Sebagai alternatif, bukannya membuat topik secara manual, anda juga boleh mengkonfigurasi broker anda untuk membuat topik auto apabila topik yang tidak wujud diterbitkan ke.

Langkah 6 - Hantar dan terima mesej di Kafka

"Pengeluar" adalah proses yang bertanggungjawab untuk memasukkan data ke Kafka kami. Kafka dilengkapi dengan pelanggan baris arahan yang akan mengambil input dari fail atau dari input standard dan hantar sebagai mesej ke kluster Kafka. Kafka lalai menghantar setiap baris sebagai mesej berasingan.

Mari jalankan pengeluar dan kemudian taipkan beberapa mesej ke dalam konsol untuk dihantar ke pelayan.

Bin/Kafka-Console-Producer.SH-Broker-List Localhost: 9092-Testtopic Topik  > Selamat datang ke Kafka> Ini adalah topik pertama saya> 

Anda boleh keluar dari arahan ini atau memastikan terminal ini berjalan untuk ujian selanjutnya. Sekarang buka terminal baru ke proses pengguna Kafka pada langkah seterusnya.

Kafka juga mempunyai pengguna baris arahan untuk membaca data dari kluster Kafka dan memaparkan mesej ke output standard.

Bin/Kafka-Console-Consumer.SH-Bootstrap-Server Localhost: 9092-Testtopic Topik-dari-Beginning  Selamat datang ke Kafka Ini adalah topik pertama saya 

Sekarang, jika anda masih menjalankan pengeluar kafka di terminal lain. Taipkan beberapa teks pada terminal pengeluar itu. ia akan dapat dilihat di terminal pengguna dengan segera. Lihat tangkapan skrin di bawah pengeluar dan pengguna Kafka dalam bekerja:

Kesimpulan

Tutorial ini membantu anda memasang dan mengkonfigurasi pelayan Apache Kafka pada Ubuntu 22.04 Sistem Linux. Di samping itu, anda belajar membuat topik baru di pelayan Kafka dan menjalankan proses pengeluaran dan pengguna dengan Apache Kafka.