Configurazione di PrivateGPT per utilizzare la chat AI con i tuoi documenti
Configura lo strumento AI di PrivateGPT e interagisci o riepiloga i tuoi documenti con il pieno controllo sui tuoi dati.
Hai mai pensato di parlare con i tuoi documenti?
Come se ci fosse un lungo PDF che hai paura di leggere, ma è importante per il tuo lavoro o per il tuo compito.
E se potessi porre domande del tipo: “Quali sono le caratteristiche principali menzionate nel documento? ” Oppure “Riassumi il punto di vista dell'autore ”.
Tutto ciò sembra troppo fantascientifico o futuristico se qualcuno lo avesse detto qualche anno fa, ma con l'avvento di tutti gli strumenti di intelligenza artificiale disponibili sul mercato, è abbastanza normale.
Non solo ChatGPT, ci sono tantissimi servizi basati sull'intelligenza artificiale gratuiti e a pagamento che possono svolgere questo lavoro oggi.
Ma preferirei non condividere i miei documenti e dati per addestrare l'intelligenza artificiale di qualcun altro. Lo farò da solo.
Ti mostrerò come configuro PrivateGPT AI che è open source e mi aiuterà a "chattare con i documenti". Puoi provare a seguire gli stessi passaggi per configurare il tuo PrivateGPT nel tuo laboratorio di casa o nel tuo personal computer.
Requisiti
CPU basata su Intel/AMD X64
8 GB di RAM (minimo), ma più sono, meglio è
Scheda grafica dedicata con 2 GB VRAM (minimo)
Qualsiasi distribuzione Linux funzionerà perfettamente. Basta prestare attenzione ai comandi di gestione dei pacchetti. Qui sto usando Ubuntu Server 22.04.
Python 3.11 (importante)
Tanto tempo e pazienza
Passaggio 1: aggiorna il tuo sistema
È importante garantire che il nostro sistema sia aggiornato con tutte le ultime versioni di qualsiasi pacchetto.
sudo apt update && sudo apt upgrade -y
Passaggio 2. Installazione di Python versione 3.11
Abbiamo bisogno di Python 3.11. Ubuntu 22.04 e molte altre distribuzioni vengono fornite con una versione precedente di Python 3.10.12. Quindi è necessario aggiornare la versione di Python.
Per verificare la tua versione di Python, digita:
python3 --version
In Ubuntu, puoi utilizzare un PPA per ottenere una versione Python più recente.
sudo add-apt-repository ppa:deadsnakes/ppa
Qui sto installando anche un altro pacchetto chiamato python3.11-venv
(Ulteriori informazioni sull'ambiente virtuale Python)
sudo apt install python3.11 python3.11-venv -y
Sebbene sia installata la nuova versione di Python, la versione predefinita rimane alla 3.10. Per cambiarlo, devi aggiornare le nostre alternative:
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 110
Poi,
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 100
Ora hai due configurazioni nelle alternative e non devi fare altro che aggiornarle:
sudo update-alternatives --config python3
Ti verranno presentate due opzioni per scegliere la versione di Python e, come puoi vedere nello screenshot, ho selezionato la numero 2 che è la versione richiesta.
Passaggio 3. Installazione di poesia
Puoi installare Poetry utilizzando pip
. Se non lo hai già, puoi installare Pip su Ubuntu usando:
sudo apt install python3-pip
dopo di che:
pip install poetry
A questo punto, il programma di installazione potrebbe generare alcuni errori relativi a PATH
proprio come nello screenshot seguente:
Per aggiungere /home/user/.local/bin
al nostro PATH
:
nano ~/.bashrc
Qui, vai alla fine del file di configurazione e aggiungi:
export PATH="$HOME/.local/bin:$PATH"
Ho usato il valore esatto invece di usare la variabile $HOME.
Per salvare e uscire da nano, premi CTRL+X
poi premi y
e inserisci. Quindi per verificare se hai aggiunto correttamente il tipo di percorso:
source .bashrc
echo $PATH
L'output sarà qualcosa del genere:
Ora controlliamo la versione di Poetry che abbiamo installato. Dovrebbe essere 1.7
o versione successiva.
poetry --version
Nel mio caso, l'output è:
Poetry (version 1.7.1)
Passaggio 4. Configurazione di PrivateGPT
Innanzitutto, devi clonare il repository GPT privato nel nostro sistema. Presumo che tu abbia Git installato sul tuo sistema.
git clone https://github.com/imartinez/privateGPT
Quindi inserisci il repository clonato:
cd privateGPT
Ora devi impostare un nuovo ambiente in modo che l'intero sistema non venga incasinato:
python3 -m venv venv
È stata creata una nuova cartella denominata venv
e per attivare l'ambiente virtuale, digitare:
source venv/bin/activate
Passaggio 5. Installazione dell'interfaccia utente locale in Poesia:
Poiché abbiamo bisogno di un'interfaccia utente per interagire con la nostra intelligenza artificiale, dobbiamo installare la funzionalità ui
della poesia e abbiamo bisogno di local
poiché ospitiamo i nostri LLM locali.
poetry install --with ui,local
Ci vorrà un po' di tempo per installare i driver grafici e altre dipendenze cruciali per eseguire gli LLM.
Passaggio 6. Installazione del modello LLM
Poiché la maggior parte del lavoro è stato svolto ora, tutto ciò di cui hai bisogno è il tuo modello LLM per iniziare a chattare con i tuoi documenti.
Per installare un modello LLM:
poetry run python scripts/setup
Anche questo processo richiederà molto tempo, poiché il modello verrà prima scaricato e poi installato. Le dimensioni dei modelli sono generalmente superiori a 4 GB.
Passaggio 7. Installazione del toolkit Nvidia CUDA
Se stai pensando di eseguire modelli IA solo sulla tua CPU, ho brutte notizie per te. Voglio dire, tecnicamente puoi ancora farlo, ma sarà dolorosamente lento. Potrebbe anche non funzionare.
Quindi è meglio usare una GPU dedicata con molta VRAM. Ho una GPU Nvidia con 2 GB di VRAM.
sudo apt install nvidia-cuda-toolkit -y
8. Compilazione dei LLM
Tutto quello che devi fare è compilare i LLM per iniziare.
CMAKE_ARGS='-DLLAMA_CUBLAS=on' poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python
9. Esegui privateGPT
Questo passaggio richiede la configurazione di un profilo locale che puoi modificare in un file all'interno della cartella privateGPT denominata settings-local.yaml
ma per non prolungare questo tutorial, eseguiamolo utilizzando questo comando:
PGPT_PROFILES=local make run
Dovrebbe apparire così nel tuo terminale e puoi vedere di seguito che il nostro privateGPT è ora attivo sulla nostra rete locale.
Passaggio 10. Parliamo con i documenti
Per aprire la tua prima istanza PrivateGPT nel tuo browser, digita 127.0.0.1:8001
. Sarà disponibile anche in rete, quindi controlla l'indirizzo IP del tuo server e usalo.
Nel mio caso, il mio server ha l'indirizzo IP di 192.168.1.7
Una volta caricata la pagina, verrai accolto con la semplice interfaccia utente di PrivateGPT.
Sul lato sinistro, puoi caricare i tuoi documenti e selezionare cosa vuoi effettivamente fare con la tua intelligenza artificiale, ad esempio "Query su documenti, Cerca in documenti, Chat LLM" e sulla destra c'è il riquadro "Prompt". Qui digiterai il tuo prompt e riceverai una risposta.
Sto utilizzando un articolo su Linux che ho scaricato da Wikipedia. È un documento PDF di 28 pagine.
Eccomi qui che faccio alcune domande a PrivateGPT:
Ecco un'altra domanda:
Puoi anche chattare con il tuo LLM proprio come ChatGPT.
Puoi fornire suggerimenti più approfonditi e complessi e risponderà. Durante i miei test, ho scoperto che il tempo di risposta varia notevolmente a seconda del sistema. Ho dovuto aspettare ca. 2 minuti solo per ricevere una risposta poiché ho un sistema più vecchio.
Conclusione
Et voilà! Ecco come configuri e ospiti il tuo PrivateGPT. Puoi effettivamente eseguirne il port forwarding su un dominio e accedervi all'esterno della tua rete domestica.
So che questa soluzione non è per tutti e anche questo progetto è in costante sviluppo, ma è un buon punto di partenza per gli appassionati che vogliono salire sul treno dell'IA open source.
Per favore fatemi sapere le vostre opinioni, domande e suggerimenti sulla configurazione e l'utilizzo di PrivateGPT. Spero di condividere altre cose interessanti sull'intelligenza artificiale in futuro.