Ricerca nel sito web

Come impostare l'alta disponibilità per Namenode - Parte 5

Hadoop ha due componenti principali che sono HDFS e YARN. HDFS serve per archiviare i dati, YARN serve per elaborare i dati. HDFS è Hadoop Distributed File System, ha Namenode come Master Service e Datanode come Servizio schiavi.

Namenode è il componente critico di Hadoop che memorizza i metadati dei dati archiviati in HDFS. Se il Namenode non funziona, l'intero cluster non sarà accessibile, è il singolo punto di errore (SPOF). Pertanto, l'ambiente di produzione avrà Namenode High Availability per evitare l'interruzione della produzione se un Namenode si interrompe a causa di vari motivi come arresto anomalo della macchina, attività di manutenzione pianificata, ecc.

Hadoop 2.x fornisce la fattibilità in cui possiamo avere due Namenode, uno sarà Namenode attivo e un altro sarà Namenode in standby.

  • Nome attivo: gestisce tutte le operazioni del client.
  • Nomenode in standby – È ridondante rispetto al Nomenode attivo. Se Active NN si interrompe, Standby NN si assumerà tutta la responsabilità di Active NN.

L'abilitazione della Disponibilità elevata Namenode richiede Zookeeper, obbligatorio per il failover automatico. ZKFC (Zookeeper Failover Controller) è un client Zookeeper utilizzato per mantenere lo stato di Namenode.

Requisiti

  • Best practice per la distribuzione del server Hadoop su CentOS/RHEL 7 – Parte 1
  • Configurazione dei prerequisiti Hadoop e rafforzamento della sicurezza – Parte 2
  • Come installare e configurare Cloudera Manager su CentOS/RHEL 7 – Parte 3
  • Come installare CDH e configurare i posizionamenti dei servizi su CentOS/RHEL 7 - Parte 4

In questo articolo abiliteremo Namenode High Availability in Cloudera Manager.

Passaggio 1: installazione di Zookeeper

1. Accedi a Cloudera Manager.

http://Your-IP:7180/cmf/home

2. Nella richiesta di azione Cluster (tecmint), seleziona "Aggiungi servizio".

3. Seleziona il servizio “Zookeeper”.

4. Seleziona i server su cui installeremo Zookeeper.

5. Avremo 3 guardiani dello zoo per formare il quorum dei guardiani dello zoo. Seleziona i server come indicato di seguito.

6. Configura le proprietà Zookeeper, qui avremo quelle predefinite. In tempo reale, devi avere directory/punti di montaggio separati per archiviare i dati di Zookeeper. Nella Parte 1 abbiamo spiegato la configurazione dello spazio di archiviazione per ciascun servizio. Fai clic su "continua" per procedere.

7. L'installazione avrà inizio, una volta installato verrà avviato Zookeeper. Puoi visualizzare le operazioni in background qui.

8. Dopo aver completato con successo il passaggio precedente, lo stato sarà "Finito".

9. Ora, Zookeeper è stato installato e configurato correttamente. Fai clic su "Fine".

10. Puoi visualizzare il servizio Zookeeper nella dashboard Cloudera Manager.

Passaggio 2: abilitazione della disponibilità elevata di Namenode

11. Vai a Cloudera Manager –> HDFS –> Azioni –> Abilita alta disponibilità forte>.

12. Inserisci il nome del nameservice come “nameservice1”: si tratta di uno spazio dei nomi comune sia per il namenode attivo che per quello in standby.

13. Seleziona il Secondo Namenode dove avremo il Namenode di riserva.

14. Qui stiamo selezionando master2.linux-console.net per il Namenode in standby.

15. Seleziona i nodi Journal, questi sono servizi obbligatori per la sincronizzazione del Namenode Active e dello Standby.

16. Stiamo creando il Quorum Journal posizionando il nodo Journal in 3 server come indicato di seguito. Seleziona 3 server e fai clic su "OK".

17. Fai clic su "Continua" per procedere.

18. Inserisci il percorso della directory Journal Node. Dobbiamo solo menzionare il percorso durante l'installazione, questa directory verrà creata automaticamente dal servizio stesso. Lo menzioniamo come '/jn'. Fai clic su "Continua" per procedere.

19. Inizierà ad abilitare l'Alta disponibilità.

20. Una volta completati tutti i processi in background, otterremo lo stato "Finito".

21. Infine, riceveremo una notifica "Abilitazione elevata disponibilità elevata". Fai clic su "Fine".

22. Verifica il namenode attivo e standby andando su Cloudera Manager –> HDFS –> Istanze.

23. Qui puoi eliminare due Namenode, uno sarà nello stato "Attivo" e l'altro sarà in "Standby" ' stato.

Conclusione

In questo articolo, abbiamo seguito la procedura passo passo per abilitare l'alta disponibilità Namenode. Si consiglia vivamente di avere Namenode High Availability in tutti i cluster in un ambiente in tempo reale. Si prega di pubblicare i propri dubbi se si riscontrano errori durante l'esecuzione di questo processo. Vedremo la Disponibilità elevata di Resource Manager nel prossimo articolo.