🧠 Ho creato una IA privata per Ortix

🌱 Ortix è il mio giardino digitale, uno spazio dove conservo tutta la mia conoscenza, idee e riflessioni.
Da tempo sognavo di poterci parlare direttamente, come se fosse una mente secondaria sempre disponibile, senza passare da ChatGPT, Gemini o altri servizi esterni.
In una parola: una IA tutta mia, in locale, senza internet, nel pieno rispetto della mia 🛡️ Sovranità digitale.

⚙️ Cosa ho fatto

💾 Ho usato #Python per scrivere un piccolo programma che:

• Legge tutti i miei file Markdown di Ortix
• Li trasforma in un formato comprensibile per una IA (embedding)
• Li collega a un modello LLM locale, che può rispondere in linguaggio naturale

🧠 All’inizio ho scaricato due modelli:

• uno per capire il contenuto (all-MiniLM, molto leggero, ottimo per trasformare i testi in vettori),
• uno per rispondere alle domande (llama-3-8b-instruct, un grande modello linguistico locale, da usare al posto di ChatGPT).

👎🏻 Al primo tentativo, ha funzionato... ma:

• ci ha messo 6 minuti per rispondere,
• solo in inglese!

🛠 Come l’ho migliorata

🔧 Ho allora:

• Scaricato un modello più leggero, adatto al mio PC di 5 anni fa
• Aggiunto un system prompt per dirgli di rispondere sempre in italiano e in modo chiaro

✅ Così facendo, ho ottenuto un assistente in grado di leggere Ortix e rispondere alle mie domande.
Certo, una risposta può richiedere anche 3 minuti, ma funziona! E tutto in locale.

🧪 Quale modello scegliere?

📊 Ecco una tabella con le principali opzioni che ho testato, con RAM minima, velocità e qualità:

💡 La scelta dipende dal tuo hardware e dai tuoi obiettivi: qualità, velocità o leggerezza.

🎓 Cosa ho imparato

• Non serve un super computer per costruire una IA personale
• Esistono modelli gratuiti e 🧬 Open Source che puoi usare liberamente
• È possibile creare un assistente privato partendo solo da qualche nozione di Python
• Una volta impostato il sistema, posso cambiare modelli, migliorare le risposte, oppure usare plugin Obsidian per automatizzare tutto

📍 È stato un esperimento istruttivo e stimolante.
Ora posso chiedere a Ortix “Cos'è un Full Node?” e lui mi risponde…
con calma 😅, ma senza spiare nulla a nessuno.

🧠 Da Data Manager a giardiniere digitale

#Ortix #AI #LLM #LocalAI #Obsidian #Python #SovranitàDigitale