Kuidas paigaldada Apache Kafka Ubuntu 18.04ile

0

Selles juhendis näitame teile, kuidas Apache Kafka installida ja seadistada VPS töötab Ubuntu 18.04.

Kafka või Apache Kafka on pub-sub (publitse-subscribe) mudeli põhimõttel põhinev hajutatud sõnumside süsteem. See võimaldab meil avaldada ja tellida kirjete voogu, mida saab liigitada. See on uskumatult kiire, väga skaleeritav, tõrkekindel süsteem, mis on mõeldud suurte andmemahtude töötlemiseks reaalajas. Apache Kafka saab kasutada ka sõnumivahendaja alternatiivina, mis võimaldab meil kirjete voogu töödelda / muuta. Kafka saab kasutada sõnumivahetussüsteemina, kuid üsna võrreldamatul hulgal. Üldiselt on Apache Kafka väga tõhus vahend, kui seda õigesti kasutatakse.

Eeldused

  • Server, mis töötab Ubuntu 18.04is vähemalt 4GB mäluga. Käesolevas juhendis kasutame ühte meie Haldaja Ubuntu 18.04 VPSes.
  • SSH juurdepääs root õigustega või juurdepääs „root” kasutajale

Samm 1: logige sisse SSH kaudu ja uuendage süsteemi

Logige sisse oma Ubuntu 18.04 VPS-i SSH-ga juurkasutajana:

ssh [email protected] _Address -p Port_number

Asendage “root” kasutajaga, kellel on vajadusel sudo-õigused. Lisaks asenda “IP_Address” ja “Port_Number” oma serveri vastava IP-aadressi ja SSH-pordiga.

Kui see on tehtud, saate kontrollida, kas teie serverile on installitud õige Ubuntu versioon järgmise käsuga:

# lsb_release -a

Sa peaksid selle väljundi saama:

Edasimüüja ID: Ubuntu Kirjeldus: Ubuntu 18.04.2 LTS Release: 18.04 Codename: bionic

Seejärel käivitage järgmine käsk, et veenduda, et kõik serveris olevad installitud paketid on värskendatud nende viimaste olemasolevate versioonidega:

# apt update && apt update

Etapp 2: süsteemi kasutaja lisamine

Loome uue kasutaja nimega 'kafka', mille järel lisame selle uue kasutaja sudoeriks.

# adduser kafka # usermod -aG sudo kafka

Samm 3: Java installimine

Kafka on kirjutatud Java-s, nii et selle tööks on vajalik JVM. Selles juhendis kasutame OpenJDK 11it, kuna see on Java standardversioon, mis on kaasas Ubuntu'ga alates septembrist 2018.

# apt install-default-jre

Samm 4: Laadi alla Apache Kafka

Nüüd laadime alla Kafka siin ja vajadusel alla laadida uusim versioon. Viimane allalaadimise link kirjutamise ajal on teie jaoks juba näidatud.

# su - kafka
wget https://www-us.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz -O kafka.tgz

Nüüd, kui Apache Kafka binaar on alla laaditud, peame nüüd selle Kafka kasutajakataloogist välja võtma

$ tar -xzvf kafka.tgz - riba 1

Samm 5: Apache Kafka seadistamine

On aeg seadistada Apache Kafka. Vaikimisi ei ole meil lubatud kustutada teemasid, kategooriaid või rühmi, milles saab sõnumeid postitada. Selle käitumise muutmiseks peame vaikimisi konfigureerima.

$ nano ~ / config / server.properties

Lisage konfiguratsioonifaili viimasele reale järgmine rida.

delete.topic.enable = true

Samm 6: Looge Apache Kafka jaoks süsteemiüksuse fail

Kafka juhtimiseks on vaja zookeeperit. Kafka kasutab zookeeperit, seega peame kõigepealt alustama Zookeeperi serveri eksemplari enne Apache Kafka teenuse alustamist. Selles juhendis kasutame Kafkaga pakitud mugavuse skripti, et saada kiiret ja määrdunud ühekohtlikku Zookeeperi eksemplari.

Ava uus fail filepathil /etc/systemd/system/zookeeper.serviceja avage see oma eelistatud tekstiredaktoris. Me kasutame nano selle juhendaja jaoks.

$ sudo nano /etc/systemd/system/zookeeper.service

Kleepige sellesse järgmised read:

[Unit] Requires = network.target remote-fs.target After = network.target remote-fs.target [Service] Type = lihtne Kasutaja = kafka ExecStart = / home / kafka / bin / zookeeper-server-start.sh / home /kafka/config/zookeeper.properties ExecStop = / home / kafka / bin / zookeeper-server-stop.sh Taaskäivita = on-ebanormaalne [Install] WantedBy = multi-user.target

Nüüd loome filmi ääres kafka jaoks süsteemiüksuse faili /etc/systemd/system/kafka.service:

$ sudo nano /etc/systemd/system/kafka.service

Kleepige failidesse järgmised read:

[Unit] Requires = zookeeper.service After = zookeeper.service [Teenus] Tüüp = lihtne Kasutaja = kafka ExecStart = / bin / sh -c '/home/kafka/bin/kafka-server-start.sh / home / kafka / config / server.properties> /home/kafka/kafka.log 2> & 1 'ExecStop = / home / kafka / bin / kafka-server-stop.sh Restart = on-abnormal [Install] WantedBy = multi-user.target

Uued süsteemiüksused on lisatud, seega lubame Apache Kafka automaatselt käivitada ja seejärel käivitada teenus.

$ sudo systemctl lubab kafka $ sudo systemctl käivitada kafka

Etapp 7: Teema loomine

Selles etapis loome teema "FirstTopic", millel on üks partitsioon ja ainult üks koopia:

$ bin / kafka-topics.sh --create --zookeeper localhost: 2181 -replication-factor 1 - partitsioonid 1 --topic FirstTopic Loodud teema "FirstTopic".

Replikatsioonifaktori väärtus kirjeldab, kui palju koopiaid andmeid luuakse. Me töötame ühe eksemplariga, nii et väärtus oleks 1.

Partitsioonide väärtus kirjeldab maaklerite arvu, kellele soovite andmeid jagada. Me töötame ühe vahendajaga, seega oleks väärtus 1.

Nüüd näete Kafka loodud teemat nimekirjateema käsu abil:

$ bin / kafka-topics.sh - nimekiri --zookeeper localhost: 2181 FirstTopic

Samm 8: Saada sõnumeid Apache Kafka abil

Apache Kafka on varustatud käsureaga kliendiga, mis võtab sisendist faili või standardse sisendi ja saadab selle sõnumina Kafka klastrisse. „Tootja” on protsess, mis vastutab andmete sisestamise eest meie Kafka teenusesse. Vaikimisi saadab Kafka iga rea ​​eraldi sõnumina.

Käivitame tootja ja seejärel sisestage konsooli, et saata serverisse mõned sõnumid.

$ bin / kafka-console-producer.sh - broker-list localhost: 9092 -topic FirstTopic> Tere tulemast kafka> See on meie esimese teema sisu>

Hoidke terminal avatuna ja jätkame järgmise sammuga.

Samm 9: Kasuta Apache Kafka tarbijatena

Apache Kafkal on ka käsurida, et tarbija saaks Kafka andmeid lugeda - see on nii, et tarbija saab kasutada Kafka standardse väljundi sõnumite kuvamiseks.

Käivitage järgmine käsk uues SSH-sessioonis.

$ bin / kafka-console-consumer.sh --bootstrap-server localhost: 9092 - tehniline testToopiline - algusest Tere tulemast kafka-sse See on meie esimese teema sisu

See on nii! Apache Kafka on edukalt installitud ja seadistatud. Nüüd saame tootja terminalile teatavaid sõnumeid kirjutada, nagu on öeldud eelmises etapis. Sõnumid on meie tarbijaterminalil kohe nähtavad.

Originaal artikli

Jäta vastus

Sinu e-postiaadressi ei avaldata.

Sellel saidil kasutatakse rämpsposti vähendamiseks Akismetit. Vaadake, kuidas teie andmeid töödeldakse.