Implementare un LLM locale con Ollama e Open WebUI

L'8 agosto 2026 Vincenzo Calabrò ha presentato, nell'ambito delle lecture note tecniche Cybersecurity & AI, il laboratorio «Implementare un LLM locale con Ollama e Open WebUI», un percorso per eseguire un Large Language Model interamente in locale su una postazione Microsoft Windows con software open source.

Lo stack di riferimento è composto da Ollama, runtime di inference basato sul motore llama.cpp, e da Open WebUI, interfaccia web self-hosted distribuita come container Docker. La dispensa, rivolta a professionisti della sicurezza informatica, si apre con introduzione, motivazioni, concetti fondamentali e requisiti, e indica come obiettivi l'installazione di Ollama con la gestione dei modelli GGUF e della quantization, il deploy di Open WebUI tramite Docker Desktop, una pipeline RAG per interrogare documenti locali con citazione delle fonti, l'integrazione via REST API locale ed endpoint compatibili OpenAI, la valutazione del threat model con le misure di hardening e un fine-tuning. Il percorso operativo è organizzato in sette fasi progressive e verificabili, con comandi riproducibili e schemi architetturali, e si chiude con una sezione sull'operatività e con riferimenti e note di versione.

La dispensa del laboratorio, 28 pagine in PDF, segue le sette fasi dell'installazione dai requisiti alla pipeline RAG e all'hardening. È disponibile anche la registrazione video del laboratorio.