Come installare Apache Kafka in CentOS/RHEL 7

Apache Kafka è un potente motore di messaggistica, ampiamente utilizzato nei progetti BigData e nel ciclo di vita Data Analytics. È una piattaforma open source per creare pipeline di streaming di dati in tempo reale. È una piattaforma di pubblicazione-sottoscrizione distribuita con affidabilità, scalabilità e durabilità.

Possiamo avere Kafka come soluzione autonoma o come cluster. Kafka memorizza i dati di streaming e possono essere classificati come Argomenti. L'Argomento avrà un numero di partizioni in modo da poter gestire una quantità arbitraria di dati. Inoltre, possiamo avere più repliche per la tolleranza agli errori come stiamo avendo in HDFS. In un cluster Kafka, il broker è un componente che archivia i dati pubblicati.

Zookeeper è un servizio obbligatorio per eseguire un cluster Kafka, poiché viene utilizzato per gestire il coordinamento dei broker Kafka. Zookeeper svolge un ruolo chiave tra produttore e consumatore dove è responsabile del mantenimento dello stato di tutti gli intermediari.

In questo articolo spiegheremo come installare Apache Kafka in un singolo nodo CentOS 7 o RHEL 7.

Installazione di Apache Kafka su CentOS 7

1. Innanzitutto, devi installare Java sul tuo sistema per eseguire Apache Kafka senza errori. Quindi, installa la versione disponibile predefinita di Java utilizzando il seguente comando yum e verifica la versione di Java come mostrato.

yum -y install java-1.8.0-openjdk
java -version

2. Successivamente, scarica la versione stabile più recente di Apache Kafka dal sito Web ufficiale o utilizza il seguente comando wget per scaricarlo direttamente ed estrarlo.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Crea un collegamento simbolico per il pacchetto kafka, quindi aggiungi il percorso dell'ambiente Kafka al file .bash_profile e quindi inizializzalo come mostrato.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Successivamente, avvia Zookeeper, integrato nel pacchetto Kafka. Poiché si tratta di un cluster a nodo singolo, puoi avviare lo zookeeper con le proprietà predefinite.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Verifica se lo zookeeper è accessibile o meno semplicemente tramite telnet alla porta Zookeeper 2181.

telnet localhost 2181

6. Avvia Kafka con le sue proprietà predefinite.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Verifica se Kafka è accessibile o meno semplicemente tramite telnet alla porta Kafka 9092

telnet localhost 9092

8. Successivamente, crea un argomento di esempio.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Elenca l'argomento creato.

kafka-topics.sh --zookeeper localhost:2181 --list

Conclusione

In questo articolo abbiamo visto come installare un cluster Kafka a nodo singolo in CentOS 7. Vedremo come installare un Kafka Cluster multinodo nel prossimo articolo.