Prima spendevo centinaia di euro al mese in API solo per avere un assistente al codice in background. Oggi, Ollama è l'assistente AI locale gratis che ti permette di eseguire LLM potenti direttamente sul tuo hardware. Dopo averlo testato a lungo sul mio Mac Studio, ecco la guida completa per installarlo e collegarlo a OpenClaw per vere automazioni.
Cos'è Ollama e perché è fondamentale
Ollama è un'applicazione leggera che scarica ed esegue modelli LLM open-source in locale. Elimina la complessità di gestire ambienti Python, compilazioni in C++ o quantizzazioni dei pesi. Lo scarichi, lanci un comando e hai un equivalente di ChatGPT che gira offline, senza pagare alcun token.
Invece di inviare i tuoi dati sensibili o il codice sorgente ai provider cloud, tutto rimane sulla tua macchina. Questo è un vantaggio enorme per startup e sviluppatori che lavorano su progetti riservati. Se vuoi approfondire le configurazioni, dai un'occhiata alla guida completa per installare OpenClaw con Ollama.
Cerchi un Fractional CTO AI?
Se vuoi integrare modelli AI locali e agenti nel flusso di lavoro della tua azienda in modo sicuro, posso darti una mano.
Installare Ollama in locale
Iniziare è incredibilmente veloce. Non serve una laurea in machine learning per far girare il tuo primo modello.
1. Download e installazione
Se usi macOS o Windows, ti basta scaricare l'installer dal sito ufficiale di Ollama. Per chi usa Linux, un semplice comando curl gestisce tutto il setup:
curl -fsSL https://ollama.com/install.sh | sh2. Avviare il tuo primo modello
Una volta installato, apri il terminale e lancia un modello leggero come Llama 3 o Qwen. Questo comando scarica i pesi e avvia una sessione interattiva:
ollama run llama3In pochi minuti, avrai un assistente AI locale gratis pronto a rispondere alle tue domande.
Trasformare Ollama in un vero assistente
Il terminale va bene per domande rapide, ma un vero assistente ha bisogno di strumenti e accesso a internet. Qui entra in gioco OpenClaw.
Collegando Ollama a OpenClaw, puoi dare al tuo modello locale la capacità di leggere file, eseguire codice e navigare sul web. Ti basterà configurare il tuo agente OpenClaw per puntare al server locale di Ollama (che gira di default su http://localhost:11434) invece che alle API di OpenAI.
Limiti dell'AI in locale
Il collo di bottiglia principale dell'AI locale è il tuo hardware. Se hai dubbi su quale hardware ti serva, ecco la guida pratica per agenti AI locali con Ollama e OpenClaw. Se non hai abbastanza VRAM, i modelli più grandi useranno la CPU, diventando lenti. Mentre un modello da 7B parametri gira perfettamente su un MacBook M1 standard, un 70B richiede hardware di un certo livello. Inoltre, i modelli locali sono generalmente un passo indietro rispetto ai modelli proprietari come Claude 3.5 Sonnet nel ragionamento complesso.
FAQ
Ollama è completamente gratis?
Sì, Ollama è interamente gratuito e open-source. Non paghi abbonamenti o costi per token, il che lo rende il perfetto assistente AI locale gratis. Potresti persino volerlo usare insieme ad altri strumenti gratuiti per le tue automazioni.
Ollama funziona offline?
Assolutamente. Una volta scaricati i pesi del modello, Ollama non richiede connessione internet. I tuoi prompt e dati non lasciano mai il computer.
Quali sono i migliori modelli per la programmazione?
Per scrivere codice, Qwen 2.5 Coder e CodeLlama sono al momento le opzioni migliori da far girare in locale con Ollama, offrendo prestazioni eccellenti in relazione al loro peso. Se ti interessa il coding puro, puoi leggere l'articolo su Qwen 2.5 Coder 32B con Ollama e OpenClaw.
Conclusione
Passare a un setup locale fa risparmiare soldi e garantisce la privacy dei dati. Combinando Ollama con framework per agenti come OpenClaw, puoi costruire un potente assistente AI locale gratis che sfida le costose alternative cloud. Provalo con un modello leggero e valuta tu stesso la differenza.
Scritto da Matteo Giardino, CTO e founder. Costruisco agenti AI per le PMI in Italia. I miei progetti.