Ricerca nel sito web

Configurazione di PrivateGPT per utilizzare la chat AI con i tuoi documenti


Configura lo strumento AI di PrivateGPT e interagisci o riepiloga i tuoi documenti con il pieno controllo sui tuoi dati.

Hai mai pensato di parlare con i tuoi documenti?

Come se ci fosse un lungo PDF che hai paura di leggere, ma è importante per il tuo lavoro o per il tuo compito.

E se potessi porre domande del tipo: “Quali sono le caratteristiche principali menzionate nel documento? ” Oppure “Riassumi il punto di vista dell'autore ”.

Tutto ciò sembra troppo fantascientifico o futuristico se qualcuno lo avesse detto qualche anno fa, ma con l'avvento di tutti gli strumenti di intelligenza artificiale disponibili sul mercato, è abbastanza normale.

Non solo ChatGPT, ci sono tantissimi servizi basati sull'intelligenza artificiale gratuiti e a pagamento che possono svolgere questo lavoro oggi.

Ma preferirei non condividere i miei documenti e dati per addestrare l'intelligenza artificiale di qualcun altro. Lo farò da solo.

Ti mostrerò come configuro PrivateGPT AI che è open source e mi aiuterà a "chattare con i documenti". Puoi provare a seguire gli stessi passaggi per configurare il tuo PrivateGPT nel tuo laboratorio di casa o nel tuo personal computer.

Non aspettarti che ChatGPT abbia una risposta rapida. Il calcolo avviene sul tuo sistema locale e dipenderà dalla potenza del tuo sistema.

Requisiti

  • CPU basata su Intel/AMD X64

  • 8 GB di RAM (minimo), ma più sono, meglio è

  • Scheda grafica dedicata con 2 GB VRAM (minimo)

  • Qualsiasi distribuzione Linux funzionerà perfettamente. Basta prestare attenzione ai comandi di gestione dei pacchetti. Qui sto usando Ubuntu Server 22.04.

  • Python 3.11 (importante)

  • Tanto tempo e pazienza

🚧
Questo tutorial presuppone che tu abbia familiarità e dimestichezza con i comandi Linux e che tu abbia una certa esperienza nell'uso degli ambienti Python. È utile avere una precedente esperienza con CUDA e qualsiasi altro strumento di intelligenza artificiale.

Passaggio 1: aggiorna il tuo sistema

È importante garantire che il nostro sistema sia aggiornato con tutte le ultime versioni di qualsiasi pacchetto.

sudo apt update && sudo apt upgrade -y

Passaggio 2. Installazione di Python versione 3.11

Abbiamo bisogno di Python 3.11. Ubuntu 22.04 e molte altre distribuzioni vengono fornite con una versione precedente di Python 3.10.12. Quindi è necessario aggiornare la versione di Python.

Per verificare la tua versione di Python, digita:

python3 --version

In Ubuntu, puoi utilizzare un PPA per ottenere una versione Python più recente.

sudo add-apt-repository ppa:deadsnakes/ppa

Qui sto installando anche un altro pacchetto chiamato python3.11-venv (Ulteriori informazioni sull'ambiente virtuale Python)

sudo apt install python3.11 python3.11-venv -y

Sebbene sia installata la nuova versione di Python, la versione predefinita rimane alla 3.10. Per cambiarlo, devi aggiornare le nostre alternative:

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 110

Poi,

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 100

Ora hai due configurazioni nelle alternative e non devi fare altro che aggiornarle:

sudo update-alternatives --config python3

Ti verranno presentate due opzioni per scegliere la versione di Python e, come puoi vedere nello screenshot, ho selezionato la numero 2 che è la versione richiesta.

📋
Se in futuro desideri passare alla versione precedente di Python, puoi eseguire lo stesso comando e selezionare la versione preferita.

Passaggio 3. Installazione di poesia

Puoi installare Poetry utilizzando pip. Se non lo hai già, puoi installare Pip su Ubuntu usando:

sudo apt install python3-pip

dopo di che:

pip install poetry

A questo punto, il programma di installazione potrebbe generare alcuni errori relativi a PATH proprio come nello screenshot seguente:

Per aggiungere /home/user/.local/bin al nostro PATH:

nano ~/.bashrc

Qui, vai alla fine del file di configurazione e aggiungi:

export PATH="$HOME/.local/bin:$PATH"

Ho usato il valore esatto invece di usare la variabile $HOME.

Per salvare e uscire da nano, premi CTRL+X poi premi y e inserisci. Quindi per verificare se hai aggiunto correttamente il tipo di percorso:

source .bashrc
echo $PATH

L'output sarà qualcosa del genere:

Ora controlliamo la versione di Poetry che abbiamo installato. Dovrebbe essere 1.7 o versione successiva.

poetry --version

Nel mio caso, l'output è:

Poetry (version 1.7.1)

Passaggio 4. Configurazione di PrivateGPT

Innanzitutto, devi clonare il repository GPT privato nel nostro sistema. Presumo che tu abbia Git installato sul tuo sistema.

git clone https://github.com/imartinez/privateGPT

Quindi inserisci il repository clonato:

cd privateGPT

Ora devi impostare un nuovo ambiente in modo che l'intero sistema non venga incasinato:

python3 -m venv venv

È stata creata una nuova cartella denominata venv e per attivare l'ambiente virtuale, digitare:

source venv/bin/activate

Passaggio 5. Installazione dell'interfaccia utente locale in Poesia:

Poiché abbiamo bisogno di un'interfaccia utente per interagire con la nostra intelligenza artificiale, dobbiamo installare la funzionalità ui della poesia e abbiamo bisogno di local poiché ospitiamo i nostri LLM locali.

poetry install --with ui,local

Ci vorrà un po' di tempo per installare i driver grafici e altre dipendenze cruciali per eseguire gli LLM.

Passaggio 6. Installazione del modello LLM

Poiché la maggior parte del lavoro è stato svolto ora, tutto ciò di cui hai bisogno è il tuo modello LLM per iniziare a chattare con i tuoi documenti.

Per installare un modello LLM:

poetry run python scripts/setup

Anche questo processo richiederà molto tempo, poiché il modello verrà prima scaricato e poi installato. Le dimensioni dei modelli sono generalmente superiori a 4 GB.

Passaggio 7. Installazione del toolkit Nvidia CUDA

Se stai pensando di eseguire modelli IA solo sulla tua CPU, ho brutte notizie per te. Voglio dire, tecnicamente puoi ancora farlo, ma sarà dolorosamente lento. Potrebbe anche non funzionare.

Quindi è meglio usare una GPU dedicata con molta VRAM. Ho una GPU Nvidia con 2 GB di VRAM.

sudo apt install nvidia-cuda-toolkit -y

8. Compilazione dei LLM

Tutto quello che devi fare è compilare i LLM per iniziare.

CMAKE_ARGS='-DLLAMA_CUBLAS=on' poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python
📋
Se stai seguendo questo tutorial su WSL o su un Mac, ti consiglio di controllare il comando giusto per la tua piattaforma da questa documentazione ufficiale )

9. Esegui privateGPT

Questo passaggio richiede la configurazione di un profilo locale che puoi modificare in un file all'interno della cartella privateGPT denominata settings-local.yaml ma per non prolungare questo tutorial, eseguiamolo utilizzando questo comando:

PGPT_PROFILES=local make run
📋
Per ulteriori informazioni sulla configurazione dei profili, consulta questo manuale.

Dovrebbe apparire così nel tuo terminale e puoi vedere di seguito che il nostro privateGPT è ora attivo sulla nostra rete locale.

Passaggio 10. Parliamo con i documenti

Per aprire la tua prima istanza PrivateGPT nel tuo browser, digita 127.0.0.1:8001 . Sarà disponibile anche in rete, quindi controlla l'indirizzo IP del tuo server e usalo.

Nel mio caso, il mio server ha l'indirizzo IP di 192.168.1.7

Una volta caricata la pagina, verrai accolto con la semplice interfaccia utente di PrivateGPT.

Sul lato sinistro, puoi caricare i tuoi documenti e selezionare cosa vuoi effettivamente fare con la tua intelligenza artificiale, ad esempio "Query su documenti, Cerca in documenti, Chat LLM" e sulla destra c'è il riquadro "Prompt". Qui digiterai il tuo prompt e riceverai una risposta.

Sto utilizzando un articolo su Linux che ho scaricato da Wikipedia. È un documento PDF di 28 pagine.

Eccomi qui che faccio alcune domande a PrivateGPT:

Ecco un'altra domanda:

Puoi anche chattare con il tuo LLM proprio come ChatGPT.

Puoi fornire suggerimenti più approfonditi e complessi e risponderà. Durante i miei test, ho scoperto che il tempo di risposta varia notevolmente a seconda del sistema. Ho dovuto aspettare ca. 2 minuti solo per ricevere una risposta poiché ho un sistema più vecchio.

Conclusione

Et voilà! Ecco come configuri e ospiti il tuo PrivateGPT. Puoi effettivamente eseguirne il port forwarding su un dominio e accedervi all'esterno della tua rete domestica.

So che questa soluzione non è per tutti e anche questo progetto è in costante sviluppo, ma è un buon punto di partenza per gli appassionati che vogliono salire sul treno dell'IA open source.

Per favore fatemi sapere le vostre opinioni, domande e suggerimenti sulla configurazione e l'utilizzo di PrivateGPT. Spero di condividere altre cose interessanti sull'intelligenza artificiale in futuro.

Articoli correlati: