Cara memasang Apache Kafka di Ubuntu 20.04

Apache Kafka adalah sumber terbuka, platform streaming acara yang diedarkan yang dibangunkan oleh Yayasan Perisian Apache. Ini ditulis dalam bahasa pengaturcaraan Scala dan Java. Anda boleh memasang Kafka di mana -mana platform yang menyokong Java.

Tutorial ini menggambarkan anda tutorial langkah demi langkah untuk memasang Apache Kafka di Ubuntu 20.04 LTS Linux System. Anda juga akan belajar membuat topik di Kafka dan menjalankan pengeluar dan nod pengguna.

Prasyarat

Anda mesti mempunyai akses akaun istimewa sudo ke ubuntu 20.04 Sistem Linux.

Langkah 1 - Memasang Java

Apache Kafka boleh dijalankan di semua platform yang disokong oleh Java. Untuk menyediakan Kafka pada sistem Ubuntu, anda perlu memasang Java terlebih dahulu. Seperti yang kita ketahui, Oracle Java kini tersedia secara komersil, jadi kami menggunakan versi OpenJDK versi terbuka.

Laksanakan arahan di bawah untuk memasang OpenJDK pada sistem anda dari PPA rasmi.

sudo apt kemas kini sudo apt memasang lalai-jdk 

Sahkan versi Java aktif semasa.

Java --version  Versi OpenJDK "11.0.9.1 "2020-11-04 OpenJDK Runtime Environment (membina 11.0.9.1+1-ubuntu-0ubuntu1.20.04) OpenJDK 64-bit Server VM (Bina 11.0.9.1+1-ubuntu-0ubuntu1.20.04, mod campuran, perkongsian) 

Langkah 2 - Muat turun Apache Kafka terkini

Muat turun fail binari Apache Kafka dari laman web muat turun rasmi. Anda juga boleh memilih cermin yang berdekatan untuk dimuat turun.

wget https: // dlcdn.Apache.org/kafka/3.2.0/Kafka_2.13-3.2.0.TGZ  

Kemudian ekstrak fail arkib

tar xzf kafka_2.13-3.2.0.TGZ  sudo mv kafka_2.13-3.2.0/usr/local/kafka  

Langkah 3 - Membuat fail unit Systemd

Sekarang, anda perlu membuat fail unit systemd untuk perkhidmatan zookeeper dan kafka. Yang akan membantu anda memulakan/menghentikan perkhidmatan Kafka dengan cara yang mudah.

Pertama, buat fail unit SystemD untuk Zookeeper:

VIM/etc/Systemd/System/Zookeeper.perkhidmatan 

Dan tambahkan kandungan berikut:

[Unit] Keterangan = Apache Zookeeper Server Documentation = http: // zookeeper.Apache.org memerlukan = rangkaian.Sasaran jauh-FS.sasaran selepas = rangkaian.Sasaran jauh-FS.sasaran [perkhidmatan] jenis = mudah execstart =/usr/local/kafka/bin/zookeeper-server-start.sh/usr/local/kafka/config/zookeeper.Properties execstop =/usr/local/kafka/bin/zookeeper-server-stop.sh restart = on-abnormal [Install] Wanteby = Multi-User.sasaran 

Simpan fail dan tutupnya.

Seterusnya, untuk membuat fail unit SystemD untuk perkhidmatan Kafka:

Vim/etc/Systemd/System/Kafka.perkhidmatan 

Tambahkan kandungan di bawah. Pastikan untuk menetapkan yang betul Java_home jalan mengikut java yang dipasang pada sistem anda.

[Unit] Description = Apache Kafka Server Documentation = http: // kafka.Apache.org/dokumentasi.html memerlukan = zookeeper.perkhidmatan [perkhidmatan] jenis = persekitaran mudah = "java_home =/usr/lib/jvm/java-1.11.0-opengdk-amd64 "execstart =/usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/pelayan.sifat execstop =/usr/local/kafka/bin/kafka-server-stop.SH [Pasang] Wanteby = Multi-User.sasaran 

Simpan fail dan tutup.

Muat semula daemon Systemd untuk menggunakan perubahan baru.

Systemctl Daemon-Reload 

Langkah 4 - Mulakan Perkhidmatan Kafka dan Zookeeper

Pertama, anda perlu memulakan perkhidmatan Zookeeper dan kemudian memulakan Kafka. Gunakan perintah SystemCtl untuk memulakan contoh Zookeeper tunggal.

SUDO Systemctl Mula Zookeeper 

Sekarang mulakan pelayan Kafka dan lihat status berjalan:

SUDO Systemctl Mula Kafka Sudo Systemctl Status Kafka 

Semua selesai. Pemasangan Kafka telah berjaya diselesaikan. Bahagian tutorial ini akan membantu anda bekerja dengan pelayan Kafka.

Langkah 5 - Buat topik di Kafka

Kafka menyediakan skrip shell yang banyak dibina untuk mengusahakannya. Pertama, buat topik bernama "testtopic" dengan partition tunggal dengan replika tunggal:

CD/USR/Local/Kafka Bin/Kafka-Topics.sh --create-bootstrap-server localhost: 9092 --Replication-Factor 1-Partitions 1-Testtopic Testtopic Topic Testtopic. 

Faktor replikasi menerangkan berapa banyak salinan data yang akan dibuat. Seperti yang kita jalankan dengan satu contoh, simpan nilai ini 1.

Tetapkan pilihan partition sebagai bilangan broker yang anda mahukan data anda dibahagikan antara. Seperti yang kita jalankan dengan satu broker, menyimpan nilai ini 1.

Anda boleh membuat pelbagai topik dengan menjalankan arahan yang sama seperti di atas. Selepas itu, anda dapat melihat topik yang dibuat di Kafka dengan arahan di bawah:

Bin/Kafka-Topics.sh-list --bootstrap-server localhost: 9092 [output] testtopic 

Sebagai alternatif, bukannya membuat topik secara manual, anda juga boleh mengkonfigurasi broker anda untuk membuat topik auto apabila topik yang tidak wujud diterbitkan ke.

Langkah 6 - Hantar dan terima mesej di Kafka

"Pengeluar" adalah proses yang bertanggungjawab untuk memasukkan data ke Kafka kami. Kafka dilengkapi dengan pelanggan baris arahan yang akan mengambil input dari fail atau dari input standard dan hantar sebagai mesej ke kluster Kafka. Kafka lalai menghantar setiap baris sebagai mesej berasingan.

Mari jalankan pengeluar dan kemudian taipkan beberapa mesej ke dalam konsol untuk dihantar ke pelayan.

Bin/Kafka-Console-Producer.SH --Broker-List Localhost: 9092-Testtopic Topik> Selamat Datang ke Kafka> Ini Topik Pertama Saya> 

Anda boleh keluar dari arahan ini atau memastikan terminal ini berjalan untuk ujian selanjutnya. Sekarang buka terminal baru ke proses pengguna Kafka pada langkah seterusnya.

Langkah 7 - Menggunakan Pengguna Kafka

Kafka juga mempunyai pengguna baris arahan untuk membaca data dari kluster Kafka dan memaparkan mesej ke output standard.

Bin/Kafka-Console-Consumer.SH --Bootstrap-Server Localhost: 9092-Testtopic Topic-dari-Beginning Selamat Datang ke Kafka Ini adalah topik pertama saya 

Sekarang, jika anda masih menjalankan pengeluar kafka (langkah #6) di terminal lain. Taipkan beberapa teks pada terminal pengeluar itu. ia akan dapat dilihat di terminal pengguna dengan segera. Lihat tangkapan skrin di bawah pengeluar dan pengguna Kafka dalam kerja:

Kesimpulan

Tutorial ini membantu anda memasang dan mengkonfigurasi perkhidmatan Apache Kafka pada sistem Ubuntu. Di samping itu, anda belajar membuat topik baru di pelayan Kafka dan menjalankan proses pengeluaran dan pengguna dengan Apache Kafka.