Conas Apache Kafka a shuiteáil ar Ubuntu 18.04

0

Sa rang teagaisc seo, taispeánfaimid duit conas Apache Kafka a shuiteáil agus a shocrú ar a VPS ag rith Ubuntu 18.04.

Kafka nó Apache Is córas teachtaireachtaí dáilte é Kafka bunaithe ar phrionsabal an tsuímh tabhairne (foilseacháin). Ligeann sé dúinn sruth taifead a fhoilsiú agus a liostáil is féidir a rangú. Is é atá ann thar a bheith tapa, an-inscálaithe, lamháltas córas, agus tá sé deartha chun suimeanna móra sonraí a phróiseáil bhfíor-am. Is féidir Apache Kafka a úsáid mar mhalairt ar bhróicéir teachtaireachta freisin, rud a ligeann dúinn sruth taifead a phróiseáil / a athrú. Is féidir Kafka a úsáid mar chóras teachtaireachta, ach ar scála sách mór. Tríd is tríd, is uirlis an-chumhachtach é Apache Kafka nuair a úsáidtear é i gceart.

Réamhriachtanais

  • Freastalaí ag rith Ubuntu 18.04 le 4GB cuimhne ar a laghad. Chun críocha an teagaisc seo, bainfimid úsáid as ceann dár Bainistithe Ubuntu 18.04 VPSes.
  • Rochtain SSH le pribhléidí fréamhacha, nó rochtain ar an úsáideoir “fréimhe” féin

Céim 1: Logáil isteach trí SSH agus Nuashonraigh an Córas

Logáil isteach i do VP Ubuntu 18.04 le SSH mar úsáideoir fréimhe:

ssh [cosaint ríomhphoist] _Address -p Port_number

Cuir úsáideoir a bhfuil pribhléidí sudo aige in áit “fréimhe” más gá. Ina theannta sin, cuir seoladh IP agus calafort SSH faoi seach in ionad “IP_Address” agus “Port_Number”.

Nuair atá sin déanta, is féidir leat seiceáil an bhfuil an leagan Ubuntu cuí suiteáilte ar do fhreastalaí agat leis an ordú seo a leanas:

# lsb_release -a

Ba chóir duit an t-aschur seo a fháil:

ID Dáileacháin: Ubuntu Cur síos: Scaoileadh Ubuntu 18.04.2 LTS: 18.04 Codename: bionic

Ansin, rith an t-ordú seo a leanas lena chinntiú go ndéantar gach pacáiste suiteáilte ar an bhfreastalaí a nuashonrú go dtí na leaganacha is déanaí atá ar fáil:

# uasghrádú agus uasghrádú apt

Céim 2: Cuir Úsáideoir Córais leis

Déanaimis úsáideoir nua darb ainm 'kafka' a chruthú, agus ina dhiaidh sin cuirfimid an t-úsáideoir nua seo le sudoer.

# adduser kafka # usermod -aG sudo kafka

Céim 3: Suiteáil Java

Tá Kafka scríofa i Java, mar sin tá gá le JVM chun é a oibriú. Sa rang teagaisc seo, úsáidfimid OpenJDK 11, mar is é an leagan caighdeánach de Java a thagann le Ubuntu ó Mheán Fómhair 2018.

# apt-jre a shuiteáil

Céim 4: Íoslódáil Apache Kafka

Anois is féidir Kafka a íoslódáil, is féidir leat dul chuig anseo agus íoslódáil an scaoileadh is déanaí más gá. Tá an nasc íoslódála is déanaí ag an am a scríobhadh é curtha isteach sa sampla duit cheana féin.

# su-kafka
wget https://www-us.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz -O kafka.tgz

Anois agus íoslódáil dénártha Apache Kafka, anois is gá dúinn é a bhaint amach inár n-eolaire úsáideora Kafka

$ tar -xzvf kafka.tgz --stripe 1

Céim 5: Cumraigh Apache Kafka

Tá sé in am Apache Kafka a chumrú. De réir réamhshocraithe, níl cead againn topaicí, catagóirí nó grúpaí a scriosadh inar féidir teachtaireachtaí a chur sa phost. Chun an t-iompar seo a athrú, ní mór dúinn an chumraíocht réamhshocraithe a chur in eagar.

$ nano ~ / config / server.properties

Cuir an líne seo a leanas le líne dheiridh an chomhaid cumraíochta.

delete.topic.enable = fíor

Céim 6: Cruthaigh Comhad Aonad Córais do Apache Kafka

Tá Zookeeper ag teastáil chun Kafka a reáchtáil. Úsáideann Kafka coimeádaí zookeeper, mar sin ní mór dúinn tús a chur le cás den fhreastalaí Zookeeper ar dtús sula dtosaíonn tú an tseirbhís Apache Kafka. Sa rang teagaisc seo, bainfimid úsáid as an script áise atá pacáistithe le Kafka chun cás Zookeeper aon-nód-tapaidh agus salach a fháil.

Oscail comhad nua ag an gcomhad comhaid /etc/systemd/system/zookeeper.service, agus é a oscailt i do rogha eagarthóir téacs. Beimid ag úsáid nano don teagasc seo.

$ sudo nano /etc/systemd/system/zookeeper.service

Na línte seo a leanas a ghreamú isteach:

Éilíonn [Aonad] = network.target remote-fs.target After = network.target cianda-ts.target [Service] Cineál = simplí Úsáideoir = kafka ExecStart = / home / kafka / bin / zookeeper-server-start.sh / kafka/config/zookeeper.properties ExecStop = / home / kafka / bin / zookeeper-server-stop.sh Atosaigh = on-abnormal [Install] WantedBy = multi-user.target

Anois, déan comhad aonad córais a chruthú do kafka ag an gcomhad comhaid /etc/systemd/system/kafka.service:

$ sudo nano /etc/systemd/system/kafka.service

Greamaigh na línte seo a leanas isteach sa chomhad:

Éilíonn [Aonad] seirbhís zookeeper. config / server.properties> /home/kafka/kafka.log 2> & 1 'ExecStop = / home / kafka / bin / kafka-server-stop.sh Restart = on-abnormal [Install]

Tá na haonaid córais nua curtha leis, agus mar sin is féidir linn Apache Kafka a chur ar siúl go huathoibríoch, agus an tseirbhís a rith ansin.

Cuireann $ sudo systemctl ar chumas kafka $ sudo systemctl tús kafka

Céim 7: Cruthaigh Topaic

Sa chéim seo, cruthóimid topaic darb ainm “FirstTopic”, le críochdheighilt aonair agus gan ach macasamhail amháin:

$ bin / kafka-topics.sh - tabhair cuairt ar an duine áitiúil: 2181 - ionchur-fhachtóir 1 -partitions 1 --topic FirstTopic Topreated "FirstTopic".

Déanann an luach macasamhlaithe fachtóir cur síos ar an méid cóipeanna de shonraí a chruthófar. Tá cás amháin á reáchtáil againn, mar sin is é an luach ná 1.

Déanann luach na ndeighiltí cur síos ar líon na mbróicéirí ar mhaith leat do chuid sonraí a roinnt eatarthu. Táimid ag rith le bróicéir aonair, mar sin is é an luach ná 1.

Anois is féidir leat an t-ábhar cruthaithe ar Kafka a fheiceáil trí ordú topaice an liosta a reáchtáil:

$ bin / kafka-topics.sh - liosta - ag coinneáil localhost: 2181 FirstTopic

Céim 8: Seol Teachtaireachtaí ag baint úsáide as Apache Kafka

Tagann Apache Kafka le cliant ceannlíne a ghlacfaidh ionchur ó chomhad nó ó ionchur caighdeánach agus a sheolfaidh amach mar theachtaireachtaí é do bhraisle Kafka. Is é an “táirgeoir” an próiseas atá freagrach as sonraí a chur isteach inár seirbhís Kafka. De réir réamhshocraithe, seolann Kafka gach líne mar theachtaireacht ar leith.

Déanaimis an táirgeoir a reáchtáil agus déan roinnt teachtaireachtaí a chlóscríobh isteach sa chonsól le cur chuig an bhfreastalaí.

$ bin / kafka-console-producer.sh - liosta bróicéir localhost: 9092 --topic FirstTopic> Fáilte go dtí kafka> Is é seo ábhar ár gcéad topaice>

Coinnigh an críochfort oscailte, agus leanfaimid ar aghaidh go dtí an chéad chéim eile.

Céim 9: Bain úsáid as Apache Kafka mar Thomhaltóir

Tá líne ordaithe ag Apache Kafka don tomhaltóir chun sonraí ó Kafka a léamh - is é sin ionas gur féidir leis an tomhaltóir Kafka a úsáid chun teachtaireachtaí a thaispeáint in aschur caighdeánach.

Rith an t-ordú seo a leanas i seisiún nua SSH.

$ bin / kafka-console-consumer.sh - bootstrap-server localhost: 9092 - tástáil theicniúilTaon - ó thús Fáilte go dtí kafka Seo ábhar ár gcéad topaice

Sin é! Tá Apache Kafka suiteáilte agus curtha ar bun go rathúil. Anois is féidir linn roinnt teachtaireachtaí a chlóscríobh ar an gcríochfort táirgeora mar atá luaite sa chéim roimhe seo. Beidh na teachtaireachtaí le feiceáil láithreach ar ár gcríochfort tomhaltóirí.

Airteagal Bunaidh

Fág freagra

Nach mbeidh do sheoladh r-phoist a fhoilsiú.

Úsáideann an suíomh seo Akismet chun spam a laghdú. Foghlaim conas a dhéantar próiseáil ar do chuid tráchta.

Úsáideann an láithreán gréasáin seo fianáin chun feabhas a chur ar do thaithí. Beidh muid glacadh leis go bhfuil tú ceart go leor leis seo, ach is féidir leat rogha an diúltaithe más mian leat. Glac Leigh Nios mo