Come installare CDH e configurare i posizionamenti dei servizi su CentOS/RHEL 7 - Parte 4
In un articolo precedente, abbiamo spiegato l'installazione di Cloudera Manager, in questo articolo imparerai come installare e configurare CDH (Cloudera Distribution Hadoop) in RHEL/CentOS 7.
Durante l'installazione del pacchetto CDH, dobbiamo garantire la compatibilità con Cloudera Manager e CDH. La versione Cloudera è composta da 3 parti:
Ad esempio, stiamo utilizzando Cloudera Manager 6.3.1 e CDH 6.3.2. Qui 6 è maggiore e 3 è la versione minore. Maggiore e Minore devono essere uguali per evitare problemi di compatibilità.
Requisiti
- Best practice per la distribuzione del server Hadoop su CentOS/RHEL 7 – Parte 1
- Configurazione dei prerequisiti Hadoop e rafforzamento della sicurezza – Parte 2
- Come installare e configurare Cloudera Manager su CentOS/RHEL 7 – Parte 3
Prenderemo i 2 nodi seguenti per l'installazione di CDH. Abbiamo già installato Cloudera Manager in master1, inoltre stiamo utilizzando master1 come server repository.
master1.linux-console.net
worker1.linux-console.net
Passaggio 1: scarica i pacchi CDH sul server principale
1. Innanzitutto, connettiti al server master1 e scarica i file CDH Parcels nella /var/www/html/cloudera-repos/ cdh directory . Dobbiamo scaricare i 3 file indicati di seguito che dovrebbero essere compatibili con RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Prima di scaricare questi file, assicurati di creare una directory cdh nella posizione /var/www/html/cloudera-repos/.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Successivamente, scarica i 3 file sopra menzionati utilizzando il seguente comando wget.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Passaggio 2: configurare il repository Cloudera Manager sui client Worker
4. Ora connettiti ai server worker e copia il file repository (cloudera-manager.repo) dal server repository (master1<) a tutti i rimanenti server di lavoro. Questo file repository garantisce ai server che tutti i pacchetti e gli RPM richiesti verranno scaricati dal server repository durante l'installazione.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Una volta aggiunto il repository, elenca i repository abilitati per assicurarti che il repository cloudera-manager sia abilitato.
yum repolist
Passaggio 3: installare i daemon e l'agente Cloudera Manager sui server di lavoro
6. Ora dobbiamo installare cloudera-manager-daemons e cloudera-manager-agent in tutti i server rimanenti.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Successivamente, è necessario configurare l'agente Cloudera Manager per segnalare il server Cloudera Manager.
sudo vi /etc/cloudera-scm-agent/config.ini
Sostituisci localhost con l'indirizzo IP del server Cloudera Manager.
8. Avvia l'agente Cloudera Manager e verifica lo stato.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Passaggio 4: installare e configurare CDH
Abbiamo pacchi CDH nel server repository master1. Assicurati che tutti i server dispongano del file repository Cloudera Manager in /etc/yum.repos.d/ se segui l'installazione automatica utilizzando Cloudera Manager.
9. Accedi a Cloudera Manager utilizzando l'URL seguente alla porta 7180 e utilizza il nome utente e la password predefiniti di Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Una volta effettuato l'accesso, verrai accolto con la pagina di benvenuto. Qui puoi trovare le note sulla versione e le nuove funzionalità di Cloudera Manager.
11. Accetta la licenza e continua.
12. Seleziona l'edizione. Per impostazione predefinita è stata selezionata la versione di prova, possiamo procedere con quella.
13. Ora segui i passaggi per l'installazione del cluster. Continua la pagina di benvenuto.
14. Assegna un nome al Cluster e continua, lo abbiamo chiamato "tecmint". È possibile definire 2 tipi di cluster. Stiamo procedendo con Regular Cluster.
- Cluster regolare: sarà composto da nodi di archiviazione, nodi di calcolo e altri servizi necessari.
- Cluster di calcolo: sarà composto solo da nodi di calcolo. È possibile utilizzare la memoria esterna per archiviare i dati.
15. Abbiamo già installato Cloudera Manager Agents in tutti i server. Puoi trovare questi server in "Host attualmente gestiti". Per l'installazione automatica, devi inserire l'FQDN o l'IP dei server nell'opzione "Nuovi host" ed eseguire la ricerca. Cloudera Manager rileverà automaticamente gli host su cui dobbiamo installare CDH.
Qui, fai clic su "Host attualmente gestiti", seleziona tutti gli host selezionando "Nome host" e continua.
16. Seleziona repository: utilizzare Parcel è il metodo consigliato. Fai clic su "Altre opzioni" per configurare il repository.
17. Inserisci l'URL del repository locale come indicato di seguito. Rimuovi tutti i restanti repository pubblici che puntano al Web (Repository Cloudera).
Questo è l'URL del repository locale CDH che abbiamo in master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Una volta inserito l'URL del repository, questa pagina mostrerà solo i pacchi disponibili. Continua questo passaggio.
19. Ora i pacchi vengono scaricati, distribuiti, decompressi e attivati in tutti i server disponibili.
20. Una volta attivati i pacchi CDH, ispeziona il Cluster. Questo passaggio eseguirà un controllo dello stato del cluster. Qui stiamo saltando e continuando.
Passaggio 5: configurazione del cluster
21. Qui dobbiamo selezionare i Servizi da installare nel Cluster. Alcune combinazioni predefinite saranno disponibili per impostazione predefinita, noi opteremo per i Servizi personalizzati.
22. Nei Servizi personalizzati, installiamo solo i componenti principali (HDFS e YARN ) per questo scopo dimostrativo.
23. Assegna i ruoli al server. Possiamo personalizzare in base alle nostre esigenze. Trova il grafico seguente che descrive la distribuzione dei ruoli consigliata per un piccolo cluster di base da 5 a 20 nodi con disponibilità elevata.
24. Seleziona il tipo di database, il nome host, il nome DB, il nome utente e la password. Poiché stiamo utilizzando Embedded PostgreSQL, sarà selezionato per impostazione predefinita. Testa la connessione, dovrebbe avere successo.
25. Questa pagina mostrerà i parametri di configurazione predefiniti di HDFS e Yarn, incluse le directory dei dati. Rivedi tutti i dettagli della configurazione e puoi apportare modifiche se necessario. Quindi continua con questo.
26. Questa pagina mostrerà i dettagli del comando "Prima esecuzione". Puoi espanderlo per vedere i dettagli dei comandi in esecuzione. Se sono presenti problemi di rete o di autorizzazione nel cluster, questo passaggio avrà esito negativo. Di solito, questo passaggio determina la corretta installazione del Cluster Building.
27. Una volta completato il passaggio precedente, fare clic su "Fine" per completare l'installazione. Questa è la dashboard di Cloudera Manager dopo aver installato CDH.
http://104.211.95.96:7180/cmf/home
Conclusione
Abbiamo completato con successo l'installazione di Cloudera Manager e CDH. Nella Dashboard di Cloudera Manager, puoi trovare una serie predefinita di grafici in cui puoi monitorare la CPU del cluster, l'IO del disco ecc. Possiamo gestire l'intero cluster utilizzando questo Cloudera Manager . Vedremo tutte le operazioni amministrative nei prossimi articoli.